Вчера в интернете вновь поднялась волна беспокойства среди пользователей и геймеров из-за масштабного сбоя, затронувшего глобальную сеть. Проблемы ощутили не только жители России, но и весь мир: стали недоступны игровые платформы и сервисы, такие как NexusMods, FACEIT, League of Legends и Valorant. С перебоями работали OpenAI (ChatGPT), ряд социальных сетей, а на стриминговых площадках отключалась реклама. Теперь стали известны технические подробности инцидента, в котором, как выяснилось, оказался виноват всего один файл конфигурации внутри инфраструктуры Cloudflare.
Компания опубликовала официальный отчет, признав, что причиной глобального отключения стала не хакерская атака, а внутренняя ошибка. Инцидент начался во время планового изменения прав доступа к базе данных ClickHouse, которая отвечает за формирование конфигурационного файла для системы защиты от ботов (Bot Management).
Из-за бага в файл попало удвоенное количество данных («признаков» ботов), из-за чего его размер превысил допустимые лимиты. Модуль проверки трафика не смог обработать этот «раздутый» файл и начал массово возвращать пользователям ошибки 5xx вместо загрузки сайтов.
Ситуация усугубилась тем, что данный файл обновляется автоматически каждые несколько минут и мгновенно распространяется по всем серверам компании в мире. Сеть начало «лихорадить»: часть дата-центров успевала получить рабочую версию, а часть — «битую», из-за чего доступ к ресурсам то появлялся, то исчезал.
Изначально инженеры Cloudflare подозревали мощную DDoS-атаку, так как накануне компания отражала рекордные атаки ботнета Aisuru. Однако анализ логов подтвердил, что корень проблемы кроется в некорректном конфиге.
Помимо основного CDN, сбой затронул и другие продукты компании, включая систему проверки «человек или бот» Turnstile и доступ к панели управления. Генеральный директор Cloudflare назвал этот сбой «худшим с 2019 года» и принес извинения клиентам. Компания пообещала внедрить более жесткие проверки системных конфигураций и добавить функцию аварийного отключения (kill switch) для подобных рискованных обновлений.
А мы напомним, что даже во время этой ошибки все наши страницы работали в штатном порядке и даже стабильно работало скачивания файлов.
