Во вторник многие пользователи при сёрфинге в интернете столкнулись со ставшей уже знаменитой ошибкой Cloudflare 500. С 11:30 до 14:30 UTC огромное количество сайтов и сервисов были недоступны: среди них Ikea, PayPal, ChatGPT, X (бывший Twitter) и многие другие. Пострадал и Notebookcheck.
Примерно в 11:30 UTC из-за ошибки конфигурации в Cloudflare начало поступать экстремально большое количество ошибок 5xx. До 13:00 UTC их число сильно колебалось, из-за чего компания сначала решила, что подвергается внешней атаке. Подозрения усилились, когда стала недоступна даже собственная страница статуса Cloudflare. Через некоторое время уровень ошибок вернулся к нормальным низким значениям. В начале в внутренних чатах обсуждалась версия, что сбой устроил ботнет.
На самом деле проблема возникла внутри сети Cloudflare. Около 11:05 UTC было изменено разрешение доступа к одной из баз данных, что привело к цепочке ошибок. В результате файл признаков (feature file) системы управления ботами искусственно раздулся почти в два раза. Однако в программах Cloudflare для этого файла жёстко задан фиксированный размер и зарезервировано соответствующее место в памяти. Увеличенные файлы переполнили выделенную память и вызвали крах системы. Поскольку файл признаков обновлялся каждые пять минут, а не все кластеры Cloudflare сразу перешли на новую конфигурацию, в любой момент по сети мог распространяться либо полностью рабочий, либо неработоспособный файл — этим и объясняются сильные колебания количества ошибок.
Примерно в 13:37 команда реагирования на инциденты поняла, что причина кроется в изменениях системы управления ботами. Ещё через час, к 14:37, проблему удалось окончательно устранить.
Последствия сбоя Cloudflare ярко демонстрируют, насколько сомнительна сегодняшняя зависимость интернета от нескольких ключевых игроков. Один-единственный конфигурационный промах в центральном узле — и миллионы сайтов и сервисов по всему миру становятся недоступны. Это в очередной раз заставляет задуматься, насколько уязвима та сеть, которую мы считаем привычной и надёжной.
Оригинал
Уникальность
