Краш-тест дата-центру De Novo підтвердив його рівень Tier III

Автор – Тимур Ягофаров, 1 мая

Компанія De Novo провела спеціальний захід, присвячений інциденту зі знеструмленням дата-центру, що призвело до зупинки як сервісів її клієнтів, так і перебою в роботі публічної хмари.

Пресбрифінг провів Максим Агєєв, CEO De Novo, який зазначив, що на момент інциденту, зафіксованого о 8:03 26.04.2025, дата-центр компанії працював безвідмовно понад 5000 днів. Цей ЦОД було спроектовано відповідно до вимог стандарту Tier III, який регламентує, що перерва у функціонуванні не повинна перевищувати 1,5 години на рік. За даними дослідження Ponemon Institute, проведеного на замовлення компанії Vertiv, час відновлення після серйозного збою електропостачання в дата-центрі становив у середньому по галузі 138 хвилин. Що ж стосується дата-центру De Novo, то відновлення його енергопостачання після аварійного відключення відбулося вже через 14 хвилин, що відповідає нормі стандарту Tier III.

Краш-тест дата-центру De Novo підтвердив його рівень Tier III

Максим Агєєв пояснює деталі інциденту

За словами Максима Агєєва, компанія постійно проводить модернізацію обладнання свого дата-центру, на що протягом останніх трьох років було витрачено близько 20 млн дол. Такі роботи проводяться і нині. Саме в процесі планової заміни джерел безперебійного живлення і стався інцидент.

Для більшої наочності учасникам прес-брифінгу було проведено невеличку екскурсію дата-центром De Novo. В її рамках було продемонстровано як забезпечується безперебійне енергопостачання. Це досягається завдяки наявності двох незалежних каналів, кожен з яких розрахований на 3 МВт. Таким чином, кожен сервер, встановлений на майданчику, отримує електроенергію по двох лініях.

Кожна з цих ліній оснащена потужними ДБЖ. Оскільки компанія проводить їхню планову заміну, під час таких робіт виконується зміна комутації схеми енергопостачання. Для цього використовуються потужні перемикачі з ручним керуванням. Як розповів Максим Агєєв, сервісний інженер діяв відповідно до затвердженого регламенту: після вимкнення однієї лінії, почекав кілька секунд і увімкнув другу. Але як показало оперативне розслідування, виконане представниками виробника цього обладнання, під час натискання на кнопку вимкнення не було виконано повне розмикання контактної групи. Побачити це було неможливо, оскільки корпус вимикача не є прозорим. Тому під час увімкнення другого перемикача, на пристрій автоматичного регулювання напруги потрапило одночасно дві фази від двох різних ліній енергопостачання. Це призвело до спрацювання автоматики, яка відключила обидва канали енергопостачання.

Як зазначив Максим Агєєв, така ситуація не є штатною і не прописана в регламенті. Однак залучені до роботи сервісні інженери не розгубилися. В умовах відсутності освітлення вони оперативно виконали необхідну комутацію, на що пішло 14 хвилин. Так о 8:17 живлення по обох гілках було відновлено, тобто ЦОД перейшов до штатного режиму роботи з повним резервуванням інженерних систем. Важливо, що система контролю доступу, всі елементи системи безпеки (камери, датчики і т. д.), протипожежна система і магнітні замки на дверях ізольованих модулів (приміщення, де розташоване обладнання клієнтів) продовжували функціонувати в штатному режимі завдяки оснащенню автономними акумуляторними комплексами. Тобто ЦОД не втрачав контроль периметра і працездатність систем безпеки ні на секунду. Служба безпеки ЦОД перейшла на особливий режим роботи відповідно до регламенту.

За інформацією Максим Агєєва, клієнти дата-центру оперативно провели відновлення роботи свого обладнання. А публічна хмара De Novo відновила функціонування через 1,5 години після інциденту.

"Якість роботи дата-центру визначається не лише наявністю чи відсутністю інцидентів, а й здатністю швидко з ними справлятися. Будь-яка аварія - це погано, але я наголошую, що дата-центр національного масштабу після масштабного блекауту разом з екосистемою замовників і підрядників дуже швидко відновив роботу. Це надзвичайно складне завдання. Я вражений якістю роботи не лише інженерної команди De Novo, а й команд експлуатації наших клієнтів. Дуже важливим був рівень комунікації із замовниками під час цієї непростої ситуації. Саме це забезпечило значну частину якісного відновлення сервісів для кінцевих користувачів", - зазначив Максим Агєєв.

«Якщо розглядати цей інцидент, як краш-тест, то наш дата-центр пройшов його успішно», - підсумував він.

Kingston повертається у «вищу лігу» серверних NVMe SSD