Как крупнейший хостинг провайдер в России REG.ru «положил» LIVE24 на сутки

Инцидент произошел на фоне резкого изменения погодных условий в Москве, где ливни привели к подтоплению ряда улиц и станций метрополитена.

«На площадке на территории ФГУ РНЦ Курчатовский институт произошла авария на основном и резервном энерговводах, задействована система резервного питания. В ближайшее время мы вернемся с более подробной информацией»,

говорится в сообщении REG.ru.

В этой статье мы расскажем вам, как это было с нами и с какими сложностями нам пришлось столкнуться.

День первый

13 часов 30 минут (примерно) – перестал работать LIVE24, видим что и остальные наши ресурсы «упали», а количество писем на корпоративной почте приблизилось к нулю.

13 часов 31 минута – небольшая паника, ожидание.

13 часов 32 минуты – видим что хостер (reg.ru) не доступен, никаких данных нет, официальные соцсети компании и даун детекторы (сервисы, мониторящие популярные сервисы и площадки на работоспособность, – прим. ред.) молчат.

14 часов 02 минуты – замечаем комментарии под последним постов в официальной группе «ВКонтакте». Подобные проблемы наблюдаются и у других клиентов компании. Хостер молчит. Долго молчит.

14 часов 03 минуты – параллельно наблюдаем хаос в столице, подтопления, сносит крыши, падают башенные краны.

14 часов 12 минут – появляется информация о проблемах с электричеством на площадке в ФГУ РНЦ Курчатовский (где и находится наш сервер) – надеемся на резерв и скорое возобновление работы. Понимая ситуацию тикеты (обращения в службу поддержки, – прим. ред.) не пишем, панику не поднимаем, ждем.

15 часов 27 минут – видим что потихоньку некоторые сайты начинают «оживать», появляется информация о восстановлении питания на серверы. Первая странность – восстановились низшие тарифы, по ценовому градиенту, VIP – все еще не работают.

16 часов 28 минут – во «ВКонтакте» информация о 90% восстановленных серверов. VIP тарифы все еще в «дауне«, те что помельче восстановились, все данные целы – уже хорошо.

17 часов 00 минут – начинаем переживать, большинство серверов в строю, но нам повезло – мы в 10% которые не заработали.

17 часов 47 минут – 95% восстановилось, мы в группе супер везунчиков – «лежим».

19 часов 21 минута – прошло около 5 часов. Ура, работает, выдохнули, ну все – включаемся в прежний режим.

День второй

06 часов 00 минут – Начало работы утренней смены в редакции, все идет по плану.

07 часов 00 минут – понимаем, что основной сайт не работает, половина «мелких» в строю, другая – мертвая.

Первый тикет в Рег.ру

10 часов 06 минут – прошел час, реакции ноль, видим, что эффект дает комментирование в ВК, пишем – получаем быстрый ответ на тикет.

10 часов 07 минут – у них работает у нас то не работает. Странно.

10 часов 08 минут – пишем второй тикет. Тишина. Работаем по старой схеме – пост в ВК.

11 часов 28 минут – получаем ответ – домен заблокировали – на сайт идет DDoS-атака. Предлагают подключить сервис защиты, правда, бесплатный.

11 часов 48 минут – сомневаемся в сказанном, пишем третий тикет с вопросами, с каких айпи на нас напали «хакеры» и почему так произошло.

14 часов 10 минут– ждем, пишем в ВК, реакции ноль, еще ждем, звоним, пишем в чат, где не могут помочь и предлагают пожаловаться на техподдержку. Жалобы нам не нужны, нам нужен рабочий функционал. Бьемся дальше.

14 часов 29 минут – после долгих ожиданий и попыток найти истину – получаем ответ на тикет, логи откуда идет большое количество запросов и самое главное – на сайт были наложены санкции еще 28 числа в 19:16, хотя ресурс работал в штатном режиме.

Дальше сложнее

16 часов 02 минуты – подключаем защиту от DDoS, предложенную Reg.ru, меняем ip-адрес и ждем обновления на DNS серверах, параллельно пишем тикет, чтобы сняли ограничения.

16 часов 49 минут – сайт начинает »оживать», техподдержка молчит.

20 часов 51 минута – публикуем комментарии в официальной группе провайдера в ВК, техподдержка молчит.

21 час 00 минут – замечаем, что поддомены начинают работать (ограничения, которые были наложены на основной домен, также распространялись на поддомены – такая система защиты у рег.ру)

21 час 34 минуты – техподдержка извиняется за долгий ответ и снова молчит.

22 часа 01 минута – ip-адрес обновился, вроде все работает. Ответа о снятии блокировки не получили.

День третий

11 часов 20 минут – наблюдаем проблемы с доступностью в некоторых сетях, техподдержка отсылает нас на сервис DDoS защиты (тут отвечают намного шустрее, это плюс).

11 часов 25 минут – получили ответ от сервиса, предлагают купить тариф выше, отказываемся. Получается, что хостер навязал нам дополнительную услугу, которая, кстати, уже включена в наш тарифный план.

11 часов 50 минут – отказались от дополнительного сервиса DDoS защиты (он включен в тарифный план изначально, почему нам предлагали подключить сторонний сервис – вопрос), вернули исходный айпи. Все хорошо, в технической поддержке рег.ру подтвердили, что никакой атаки на сайт нет. А была ли она вообще?

Что в итоге?

Наш сайт находился в «дауне» больше суток, через десятки тикетов и постов в соцсети все удалось решить. Да, это была форс-мажорная ситуация, но затягивание с ответами со стороны технической поддержки создало не самое лучшее впечатление об отношении REG.ru к своим клиентам.