Последний сбой на Московской бирже случился из-за попытки «вылечить» сбои
40 тысяч сделок в секунду
С конца прошлого года биржа работает над разделением торговли ценными бумагами и расчетов по заключенным сделкам (клиринг). Сейчас они представляют собой единую систему: и торговля бумагами, и расчеты происходят в одном месте — ядре. Крупнейшие мировые площадки — Лондонская и Нью-Йоркская биржи — устроены по-другому, у них эти функции разделены. И хотя Московская биржа считает свою IT-систему передовой, говорит председатель ее набсовета Александр Афанасьев, сейчас такая организация работы не соответствует возросшим объемам торгов.
По словам Афанасьева, было принято решение разделить два процесса на отдельные модули, а сами модули модернизировать. В этом году на бирже, по ее собственным данным, произошло семь сбоев, три из которых случились в клиринге — 12 января (почти на час приостанавливались торги на срочном рынке), 5 марта (больше часа участники не могли торговать валютой и драгоценными металлами) и 15 июня (из-за возросшей волатильности возникла ошибка в расчете риск-параметров во время промежуточного клиринга, в вечернюю сессию биржа вынуждена была остановить торги на два часа).
«Все эти сбои произошли по одному сценарию: из-за ошибки в клиринговом модуле нам пришлось останавливать торги», — рассказывает управляющий директор биржи по IT Сергей Поляков. Западные биржи, работающие по другой модели, торги бы не останавливали, говорит он.
В прошлом году, отмечает Поляков, вообще все сбои случились в системе клиринга — их было четыре.
По его словам, проект по разделению и модернизации модулей вместе с другими усовершенствованиями в рамках борьбы со сбоями обойдется в 3 млрд руб. и должен быть закончен к 2017 году. Глава биржи уверяет, что в результате число сбоев сократится на три-четыре в год.
В июне газета «Ведомости» сообщала, что в ноябре этого года системы должны быть разделены на валютном и срочном рынках. При этом новое ядро валютного рынка будет иметь производительность 40 тыс. сделок в секунду против 20 тыс. сейчас.
В конце сентября финансовый директор биржи Евгений Фетисов говорил, что только в 2015 году в IT-инфраструктуру будет вложено более 3 млрд руб. Чистая прибыль биржи в первом полугодии 2015-го составила 13,2 млрд руб., а по итогам года может достичь 22,7 млрд руб., прогнозировал аналитик Газпромбанка Андрей Клапко.
«Был настоящий бардак»
Борьба со сбоями не проходит гладко: последняя ошибка 21 сентября, когда трейдеры видели перевернутый «стакан» — были перепутаны цены спроса и предложения, по словам Афанасьева, появилась именно в результате обновления, сделанного для разделения торговой и клиринговой систем. Ошибка произошла в коде, который был создан для того, чтобы реализовать функцию разделения, признает Афанасьев. Он называет ошибку досадной и обращает внимание, что ее не выявили ни тестирование, ни двухнедельная работа. «Каждое изменение несет риск», — заключает он.
В понедельник, 21 сентября, сбой на срочном рынке парализовал его работу на два с лишним часа. «Проблемы на срочном рынке были видны с момента открытия. Система отбирала в «стакане» заявки в произвольном порядке, был настоящий бардак», — описывал ситуацию гендиректор «Открытие Брокер» Юрий Минцев. Старший трейдер управления фондовых операций «Велес Капитала» Алексей Никогосов говорил РБК, что заявки на продажу и покупку бумаг менялись местами с самого утра.
Официально биржа сообщила, что причиной сбоя стала «программная ошибка при чтении ядром конфигурации торговой системы». Этот сбой стал третьим за сентябрь, если не считать ситуации 16 сентября, когда биржа почти час не транслировала ряд индексов.
Два предыдущих сбоя, случившиеся 1 и 8 сентября, по словам Полякова, были связаны с проблемами с «железом». Причем 8 сентября биржа пережила так называемый сетевой шторм. «Компьютерная сеть живая, в ней возникают разные соединения, подключается оборудование, она меняется, что-то выходит из строя, что-то находит новый маршрут, сеть себя постоянно реконфигурирует исходя из реального состояния. Если что-то ломается, сеть пытается себя «вылечить» за миллисекунды, поэтому в ней постоянно идут оповещения, что ей надо делать», — описывает ситуацию Поляков. По его словам, сетевой шторм случается тогда, когда, пытаясь самостоятельно «вылечиться», сеть топит сама себя в оповещениях. 8 сентября сбой произошел сразу на валютном, фондовом и срочном рынках, более того, не работал и сайт биржи. Решить проблему с «железом» биржа намерена заменой оборудования на более новое.
Сбои на Московской бирже в 2015 году
12 января
Биржа почти на час приостановила торги на срочном рынке из‑за технической ошибки, которая была обнаружена во время проведения промежуточной клиринговой сессии. Сбой был вызван рассинхронизацией двух процессов обработки транзакций. В работе IT-системы биржи каждая транзакция разбивается на много мелких шагов, которые обрабатываются параллельно, что повышает скорость работы. Эти процессы могут рассинхронизироваться.
5 марта
Биржа более чем на час приостановила торги на валютном рынке и рынке драгметаллов. Биржа объяснила сбой некорректной обработкой серверами взаимодействия между срочным и валютным рынками.
2 апреля
Московская биржа предупредила, что в течение 1 секунды у части клиентов могла наблюдаться нестабильность в сетевых подключениях.
15 июня
Торги приостановились более чем на два часа. Позже администрация биржи заявила, что сбой был вызван ростом волатильности торгов, что привело к некорректной передаче информации.
16 июня
Московская биржа в течение трех минут не транслировала котировки на валютном рынке. Как результат, трейдеры не могли реагировать на изменения стоимости валют.
29 июня
На четыре минуты был прерван поток данных на срочном рынке биржи. Биржа объяснила это некорректной работой элемента сетевой инфраструктуры (балансировщика — устройства, позволяющего распределять высокую нагрузку между узлами серверной инфраструктуры).
12 августа
Примерно на полчаса приостанавливались торги на срочном рынке Московской биржи. Причиной назвали некорректную работу телекоммуникационного оборудования, что привело к проблемам с выдачей клиентам рыночных данных.
1 сентября
На час были приостановлены торги на фондовом рынке Московской биржи. Это было связано с нестабильной работой аппаратной части основного сервера торгово-клиринговой системы фондового рынка. Систему пришлось в ручном режиме переключать на резервный сервер.
8 сентября
Торги на всех рынках Московской биржи (фондовом, валютном и срочном) не осуществлялись из‑за сбоя почти два часа. Причиной ЧП назвали сбой сетевого оборудования в дата-центре биржи М1.
16 сентября
Московская биржа примерно в течение часа не транслировала индекс РТС, индекс широкого рынка, индекс металлов и добычи. Это объяснили ошибкой в подготовке документов при ежеквартальном пересмотре индексов.
21 сентября
В 10:07 мск администрация биржи сообщила о возможных проблемах со снятием заявок на срочном рынке. В 10:25 торги на срочном рынке были приостановлены для перезагрузки ядра торговой системы. В 11:45 торги возобновились, однако некоторые участники попросили администрацию дать им дополнительное время для синхронизации своих систем с биржевыми. Окончательно торги возобновились в 12:40.