По сообщению нашего дата-центра произошло следующее:
У апаратного fierwall (часть системы защиты от DDoS) CISCO произошло произвольное стирание прошивки, изза чего значительное
количество серверов оказалось отрезанными от внешнего мира. Ликвидация данной аварии заняла у них сутки, на данный момент все работает, выплаты по заявкам будут производиться круглосуточно.
Для таких случаев у нас предусмотрен резервный сервер, но сбой дала система синхронизации баз данных, в результате чего мы могли бы им воспользоваться, только сделалв откат назад на 8 часов, а при наших оборотах это сотни операций. Так как дата-центр нас уверял в том, что восстановление работы - вопрос нескольких часов, мы от этого решили воздержаться.
Наш работник, виновный в сбое синхронизации и невозможности оперативного перехода на резервный сервер, наказан: размеры его зарплаты за ноябрь его неприятно удивят. Я приношу извинения клиентам за доставленные неприятные минуты.