[Демьян_Dnepr]

из поста на фейсбуке:

Итак, сегодня работа наших систем нормализовалась. Хотя все еще есть небольшие остаточные явления, о которых ниже.
Вот график за сегодня. Можно его сравнить с графиком за вчера в предыдущем посте.
Сейчас работает 7291 банкомат, на техническом обслуживании находится 327 банкоматов. В магазинах в штатном режиме работает 118 469 терминалов (96% от общего числа). Хотя в магазинах еще может встречаться такое явление, когда продавцы говорят, что терминал не работает (в том числе это делается потому, что получили повод не “светить” официально платежи).
Также нам предстоит еще разобраться с забракованными или приостановленными из-за сбоя платежами. Их относительно немного – несколько тысяч. Мы эту работу закончим сегодня, максимум завтра.
Почему произошел сбой? Мы проводили обновление своего процессинга (сердце всего платежного блока) по требованиям международных платежных систем. При этом мы использовали софт, который покупает наш банк у сторонней компании, в котором была внутрення ошибка. Эта ошибка не была выявлена при предварительном тестировании (которое шло, к слову, не один месяц), и проявилась только на наших сумасшедших объемах транзакций.
Отдельно обращаюсь к ИТ-специалистам в комментариях к посту, которые сокрушаются, почему мы не провели предварительное тестирование или почему мы “просто не откатились назад”. Просто поверьте, что это не так просто. В нашем банке, через который проходит бОльшая часть платежей страны, работают специалисты самого высокого уровня. Здесь, к сожалению, имело место роковое стечение обстоятельств.
Но свои выводы – и очень много выводов – мы из этой ситуации, конечно, вынесли. Мы знаем, как не допустить такие ситуации в будущем.
Я еще раз прошу прощения у всех клиентов, которых мы подвели этими сбоями. Впрочем, само собой, наши извинения не ограничатся этим постом.
И отдельное спасибо всем нашим клиентам и партнерам, кто нас поддерживал в этой ситуации.