Как MAKER-STUDIO пережил атаку на дата-центры «Яндекса»
Это были тяжёлые дни, и не только для нас. В начале октября беспилотники ударили по дата-центрам «Яндекса», и вместе с ними на время осела большая часть привычного интернета. Мы тогда почти не спали: сервис пропал, часть копий оказалась заперта в повреждённой инфраструктуре, и в первые часы было по-настоящему страшно за проекты людей.
В ночь с 7 на 8 октября серьёзно повредили дата-центр в Сасово. Там начался пожар, работу объекта полностью остановили. На месте дежурили экстренные службы и специалисты «Яндекса», сотрудники компании не пострадали. В «Яндексе» сразу сказали, что команды работают ночью и днём, но подтвердить, удастся ли восстановить оборудование, пока не могут.
Именно на эти сутки пришёлся наш самый болезненный разрыв. Копию на раннее утро 4 октября мы успели поднять. Резервные копии с 05:00 4 октября по 05:00 7 октября уцелели: мы их видели, но скачать с повреждённых площадок долгое время не могли. Это удалось сделать только к 19 октября. Данные с утра 7 октября по утро 8 октября, скорее всего, потеряны.
9 октября утром атака дошла до Калуги. Несколько модулей дата-центра вывели из строя, часть сервисов «Яндекса» заработала с перебоями. В тот же день компания публично назвала дата-центры своим «железным сердцем» и честно написала, что сроки возвращения оборудования назвать очень сложно. Параллельно «Яндекс» договорился с Selectel, К2Cloud и VK Cloud, чтобы пострадавшие клиенты могли быстрее переехать на их площадки.
В ночь на 11 октября остановили третий объект, во Владимире. «Яндекс» подтвердил повреждение инфраструктуры и полный останов. Облако перевели в аварийный режим и прямо посоветовали клиентам включать запасные планы восстановления. Люди на площадках снова не пострадали.
В ночь с 7 на 8 октября серьёзно повредили дата-центр в Сасово. Там начался пожар, работу объекта полностью остановили. На месте дежурили экстренные службы и специалисты «Яндекса», сотрудники компании не пострадали. В «Яндексе» сразу сказали, что команды работают ночью и днём, но подтвердить, удастся ли восстановить оборудование, пока не могут.
Именно на эти сутки пришёлся наш самый болезненный разрыв. Копию на раннее утро 4 октября мы успели поднять. Резервные копии с 05:00 4 октября по 05:00 7 октября уцелели: мы их видели, но скачать с повреждённых площадок долгое время не могли. Это удалось сделать только к 19 октября. Данные с утра 7 октября по утро 8 октября, скорее всего, потеряны.
9 октября утром атака дошла до Калуги. Несколько модулей дата-центра вывели из строя, часть сервисов «Яндекса» заработала с перебоями. В тот же день компания публично назвала дата-центры своим «железным сердцем» и честно написала, что сроки возвращения оборудования назвать очень сложно. Параллельно «Яндекс» договорился с Selectel, К2Cloud и VK Cloud, чтобы пострадавшие клиенты могли быстрее переехать на их площадки.
В ночь на 11 октября остановили третий объект, во Владимире. «Яндекс» подтвердил повреждение инфраструктуры и полный останов. Облако перевели в аварийный режим и прямо посоветовали клиентам включать запасные планы восстановления. Люди на площадках снова не пострадали.
Он ничего не придумывает. Он перебирает
Пока это происходило, мы действовали сразу. Связь со специалистами «Яндекса» держали круглосуточно, вытаскивали то, до чего могли дотянуться, и переносили сервис на другую площадку. Благодаря этой оперативности MAKER выбрался одним из первых. Сервис уже работал и принимал проекты, когда многие другие ещё только пытались восстановить доступ.
14 октября глава Минцифры Максут Шадаев рассказал, что ведомство помогло «Яндексу» с дополнительными площадками. Ключевые системы компании перевели на заранее подготовленные резервы в разных местах, а оставшееся продолжили перевозить на сторонние мощности. В «Яндексе» напомнили, что распределённую инфраструктуру и независимые резервные площадки они строили много лет. К тому моменту у нас основная работа уже была позади.
Тем, кто с 05:00 7 октября по 05:00 9 октября заводил аккаунты и активировал пин-коды, пришлось пройти активацию ещё раз теми же кодами. Проекты, которые люди вели уже после нашего возвращения, сохранились. Новую площадку выбирали так, чтобы подобный удар было гораздо труднее повторить.
Сейчас, когда самое страшное позади, можно выдохнуть. Мы вышли из этой истории с минимальными потерями: сервис жив, люди снова работают в MAKER. За тревогу и ожидание мы искренне извиняемся. И отдельно благодарим тех, кто остался с нами и просто подождал.
14 октября глава Минцифры Максут Шадаев рассказал, что ведомство помогло «Яндексу» с дополнительными площадками. Ключевые системы компании перевели на заранее подготовленные резервы в разных местах, а оставшееся продолжили перевозить на сторонние мощности. В «Яндексе» напомнили, что распределённую инфраструктуру и независимые резервные площадки они строили много лет. К тому моменту у нас основная работа уже была позади.
Тем, кто с 05:00 7 октября по 05:00 9 октября заводил аккаунты и активировал пин-коды, пришлось пройти активацию ещё раз теми же кодами. Проекты, которые люди вели уже после нашего возвращения, сохранились. Новую площадку выбирали так, чтобы подобный удар было гораздо труднее повторить.
Сейчас, когда самое страшное позади, можно выдохнуть. Мы вышли из этой истории с минимальными потерями: сервис жив, люди снова работают в MAKER. За тревогу и ожидание мы искренне извиняемся. И отдельно благодарим тех, кто остался с нами и просто подождал.
