Геннадій Карпов, De Novo: «Ми серйозно просунулися до високорівневих хмарних сервісів»

De Novo - добре відомий на українському ІТ-ринку хмарний провайдер, який нещодавно вирішив вийти з новими пропозиціями своїх сервісів. Це і стало головним приводом для спілкування з CTO компанії Геннадієм Карповим. А розпочали ми з традиційного питання про те, як De Novo зустріла повномасштабне вторгнення і які довелося долати технологічні та організаційні складнощі.

Готовим до такої події бути неможливо. Всі очікували чогось, але все одно все сталося раптово. Звичайно ж, ми готувалися, розглядали різноманітні варіанти розвитку подій. Але, сказати чесно, не вгадали, як воно все буде насправді, що ворожі танки вже за два тижні з'являться в передмісті Києва. Проте, щойно сталося 24 лютого, було створено кілька робочих груп, діяльність яких була спрямована на забезпечення стабільності роботи дата-центру як платформи наших хмарних сервісів, так і розміщеного в ньому обладнання клієнтів.

В перші дні та тижні основний акцент було зроблено на фізичну захищеність та енерго-автономність дата-центру. Для зміцнення периметра ми навіть використовували бетонні блоки та мішки з піском, що в разі спроби фізичного вторгнення могло б допомогти хоч якийсь час протриматися (як мінімум, тоді ми так думали). Примітно, що вжиті ще навесні заходи щодо поліпшення енерго-автономності нашого майданчика (перш за все – збільшення запасів палива до трьох діб повністю автономної роботи) виявилися вельми корисними не саме тоді, а через пів року, коли почалися атаки на енергосистему країни. Всі осінньо-зимові блекаути ми пройшли достойно, але спалили при цьому десь під сто тонн дизелю. Це, до речи, доволі недешево – вартість електроенергії від власної дизель-генераторної електростанції десь в чотири-п’ять разів вище ніж від міста. Але це не було проблемою наших клієнтів – вони купували ЦОД рівня Tier III і вони його отримали.

Яких заходів ще було вжито?

Навесні 2022 року, в умовах невизначеності перспектив логістики, ми докладали зусиль, щоб максимально наростити виробничу базу. Ми тоді викупили зі складів дистриб'юторів усе, до чого змогли дотягнутися та що могло стати частиною нашої платформи.

Як відреагували на повномасштабне вторгнення ваші клієнти?

Звісно, вони були налякані й шукали будь-які можливості захисту своїх цифрових активів і перше, що спадало їм на думку, - перенести все кудись на захід України або, краще, за кордон, а як мінімум – створити надійно захищені резервні копії. Саме тоді, в кінці лютого – на початку березня, ми доповнили наш каталог сервісів резервного копіювання рішеннями Geo XR. Їх суть полягає в тому, що, додатково до звичайної локальної, створюється друга резервна копія даних клієнта в об'єктному сховищі одного з гіперскейлерів. І, що є найбільш цінним, ця копія має властивість «автономного відновлення» – клієнт самостійно, без допомоги наших співробітників та залучення будь-яких ресурсів нашої хмари, може розгорнути її за прийнятний час в будь-яку віртуальну інфраструктуру, навіть того самого гіперскейлера. Це була наша відповідь на питання, яке в ті часи ми чули доволі часто – «А що нам робити, якщо вас не стане? Ось прямо фізично не стане?».

Чи спостерігався при цьому відтік клієнтів?

Так, звичайно. Всі намагалися максимально убезпечити свої цифрові активи, хоча й не без цього, іноді досить спонтанними та ірраціональними методами. Клієнти з комерційного сегмента почали оперативно мігрувати на закордонні майданчики, не зважаючи на витрати та негативні довготермінові наслідки. Що ж стосується державних структур, то для них від гіперскейлерів надійшли пропозиції щодо надання ресурсів та міграції на безоплатній основі. Також було оперативно внесено зміни до законодавства, які дозволили розміщення та обробку даних держави за межами країни. Включаючи зміни в регламентні атестації комплексної системи захисту інформації, наявність якої вимагається відповідно до закону України про інформацію. Тому деяку частину клієнтської бази ми втратили – з ірраціональним та безкоштовним доволі важко конкурувати.

Однак, з четвертого кварталу 2023 року, ми спостерігаємо процес CloudBack, тобто повернення клієнтів до локальних провайдерів. Далеко не всім гіперскейлери подовжили умови безоплатного використання хмарних ресурсів. А їхні розцінки помітно вищі, ніж у локальних провайдерів. Для когось подовжили на рік, а для когось - лише на квартал. До речі, безоплатність була оформлена у вигляді видачі деякої кількості «кредитів» на оплату послуг. Таким чином, усі бачили свій реальний чек, який буде після того, як ці кредити закінчаться, і більшості цей чек зовсім не подобався. Тому в першому кварталі 2024 року очікуємо активніший приплив клієнтів, що повертаються, і ми до нього готові.

На які свої переваги робить ставку De Novo? Як вдається конкурувати з гіперскейлерами?

Насамперед порівняно з гіперскейлерами, ми можемо забезпечити краще співвідношення ціна/якість. Крім того, ми українська компанія і також знаходимось в контексті війни, тому краще розуміємо наші реалії, можемо адекватніше на них реагувати і бути, скажімо так, ближче до клієнта. Йому, в певному сенсі, з нами має бути комфортніше працювати.

Якщо ж говорити про технологічні аспекти, то локальні хмарні провайдери першого ешелону ні в чому не поступаються гіперскейлерам у сфері IaaS, бо будують свої рішення на платформі VMware, світового лідера у сфері віртуалізації. Є навіть таке поняття як "четвертий гіперскейлер". Під цим мається на увазі екосистема партнерів VMware, які використовують її технології для побудови своїх хмарних платформ. Вони всі взаємно сумісні. Тому таку конгломерацію партнерів можна розглядати в цілому як деякого четвертого гіперскейлера, який технологічно однорідний і не поступається за масштабом основним глобальним гравцям цього ринку.

Як змінюється конкурентне середовище в українському хмарному сегменті?

Головним каталізатором змін у цьому сегменті стало повномасштабне вторгнення, оскільки з його початком відчутні конкурентні переваги отримали ті гравці, які мали майданчики на заході Україні та/або за її межами. Утім, вже восени 2022 року стало зрозуміло, що в країні немає абсолютно безпечних місць, оскільки на той час від ракетних ударів постраждали всі регіони без виключення, а також те, що використання хмарних сервісів за кордоном є доволі дорогим задоволенням.

Сьогодні, на нашу думку, оптимальною схемою розміщення ІТ-активів є основний майданчик в Україні та резервний за кордоном, з повною реплікою даних, але обчислювальними потужностями тільки для найбільш критичних сервісів. Це дає змогу досягти оптимального співвідношення «ступінь ризику/вартість захисту». Зауважу, що варіант «один майданчик (або «зона доступності» в термінології гіперскейлерів), але за кордоном» є менш надійним. Аварії в закордонних ЦОД, що призводять до тимчасової або повної (приклад – OVH) недоступності сервісу та/або втрати даних, не є рідкісним явищем попри відсутність там військових дій.

Що ж стосується нашого майданчика у Франкфурті, то його дуже швидко було заповнено ще навесні 2022 року. Минулого року, теж навесні, ми провели його повну перебудову, оновивши обладнання, технологічний стек та збільшивши місткість на порядок. Але варто визнати, що у 2022 році, на хвилі активного перенесення платформ на захід Україні або за кордон, ми таки втратили певну кількість клієнтів.

Чи задоволені ви тим, що свого часу зробили ставку саме на платформу VMware?

Безумовно, ця ставка повністю виправдалася. VMware вже багато років світовий лідер у сегменті віртуалізації для корпоративних ІТ-інфраструктур. Компанія вже понад 15 років активно розвиває екосистему партнерів – хмарних операторів, які використовують технології VMware для побудови комерційних хмар. Є спеціальні схеми ліцензування для хмарних операторів, які значно відрізняються від корпоративних. Забезпечений виробником рівень зрілості платформи, її функціональність і наповнення технологіями, які здатні задовольнити найбільших корпоративних замовників, виявилися абсолютно не зайвими й для хмарних операторів.

Ще один важливий аспект - сервісна підтримка. Для всіх своїх партнерів, які надають хмарні послуги, VMware забезпечує весь стек продуктів підтримкою рівня «production grade support», а це є «must have» для будь-яких продуктивних систем. Ми ніколи не залишаємось з будь-якою проблемою наодинці, за нами завжди стоїть вендор зі своїм колосальним ресурсом компетенцій та технологічної експертизи.

Якщо у підсумку, то ставка на VMware повністю виправдалася, і не в останню чергу завдяки ефекту «четвертого гіперскейлера», коли клієнт може переходити від провайдера до провайдера. Тому що вони всі сумісні технологічно, працюють на однаковому програмному стеку, якість та функціональність якого дає змогу цій екосистемі конкурувати навіть з гіперскейлерами. До речи, всі вітчизняні хмарні провайдери першого ешелону пропонують хмарні послуги саме на базі технологій VMware.

А які ви могли б привести досягнення вашої компанії за останній час?

У 2023 році нашому дата-центру виповнилося 13 років. І весь цей час ЦОД забезпечував «zero downtime», тобто 100% рівень доступності сервісу. Це неабияке досягнення на такому періоді часу навіть за світовими мірками.

Зауважу, що якість сервісу лише на 40% залежить від архітектури ЦОД, а на 60% - від якості операційної моделі дата-центру. Цей факт навіть знайшов своє відображення у ландшафті сертифікацій від Uptime Institute. Нагадаю, що це визнаний піонер та авторитет у сфері стандартизації та оцінки дата-центрів. Десь близько десяти років тому з’явився сертифікат «Certified Operation Sustainability», присвяченій саме оцінці якості операційної моделі дата-центру. Це на додачу до «Certified Design» - сертифікація проєктної документації, термін дії якої обмежено трьома роками та «Certified Facility», якій вже не має терміну дії, тому що сертифікації підлягає готовий фізичний ЦОД.

Архітектура нашого ЦОД відповідає рівню Tier III, головною особливістю якого є «нульове вікно обслуговування». Це означає, що ми можемо проводити будь-які регламенті процедури, ремонти та заміну обладнання без будь-якого впливу на якість сервісу з точки зору клієнтів. Саме ця властивість дозволила нам реалізувати стратегію превентивного керування додатковими ризиками воєнного часу – провести позапланове технічне обслуговування або повне оновлення найбільш критичних інженерних підсистем, таких як дизель-генераторна електростанція, холодильні машини, ДБЖ тощо.

Саме ці превентивні заходи, реалізовані у першій половині 2022 року, дозволили нам «на відмінно» пройти сезон блекаутів восени-взимку минулого року. Ніхто з наших клієнтів ні на секунду не відчув ніякого дискомфорту, хоча для цього нам довелось спалити багато тонн дизелю, як я вже згадував. В той період ми навіть створили на базі нашого ЦОД пункт незламності, яким скористалися сотні людей. В нас завжди була енергія, а значить також вода, тепло та зв’язок.

Другий знаковий проєкт, що тривав понад рік, – якісне підвищення енергоефективності ЦОД. Його результатом стало зниження енергоспоживання приблизно на 18% за того ж самого ІТ-навантаження шляхом зменшення споживання інженерних систем. Половину цього ефекту забезпечило використання нових, більш енергоефективних холодильних машин. Ще половина – завдяки ребалансу гідроконтурів, оптимізації мікроклімату в машинних залах та оптимізації режиму роботи прецизійних кондиціонерів. Все це потребувало багатомісячної кропіткої роботи, гіпотез та експериментів, найвищого рівня інженерної експертизи, але інтегральний результат того вартий – зниження річного платежу за електроенергію приблизно на вісім мільйонів гривень.

Хотілося б окремо поговорити про вашу ініціативу з розвитку сервісів PaaS.

В індустрії вже не перший рік спостерігається явний тренд системного руху у напрямку Cloud Native. Він передбачає зміну архітектури застосунків та зміну підходу до їх розробки та експлуатації. Мікросервісна архітектура, контейнерна віртуалізація, парадигма DevOps - у всіх на слуху. І, відповідно, це генерує неабиякий попит на хмарні сервіси, які здатні підтримати такий підхід. Звична всім хмарна платформа “інфраструктура як сервіс” чудово підходить для успадкованих програмних архітектур та застосунків, але в ній не вистачає функціональності для світу Cloud Native.

Одне з найбільш популярних сімейств сервісів на цей час - це мікросервіси та контейнерна віртуалізація. Kubernetes усі знають, усі чули. Ця технологія оркестрації контейнерів, дитя Google, десь за десять років свого існування з розгромним рахунком подолала всіх конкурентів та стала стандартом де-факто в індустрії. Ми теж вирішили ще позаминулого року - для того, щоб залишатися конкурентоспроможними на фоні гіперскейлерів, маємо рухатися в цьому напрямку і почати розширювати наш каталог PaaS-сервісами.

Перше, на чому ми сконцентрувалися, - це платформи Kubernetes промислового класу двох видів. Одна з них базується на приватній хмарі, яка в нашому сервісному каталозі має назву Hosted Private Infrastructure (HPI). Цей сервіс було виведено на ринок ще у 2017 році. Він належить до класу IaaS, але за минулі роки постійно доповнювався новою функціональністю PaaS.

Першу таку «надбудову над HPI» було реалізовано у 2021 році. Це сервіс HDI - Hosted Desktop Infrastructure, тобто інфраструктура віртуальних робочих столів та ПК поверх приватної хмари, що базується на VMware Horizon та, опційно, графічних акселераторах від Nvidia.

Минулого року було анонсовано комерційну доступність ще однієї PaaS-надбудови - HCI (Hosted Container Infrastructure). Вона являє собою промислову платформу оркестрації кластерів Kubernetes на основі технології VMware Tanzu Kubernetes Grid (TKG).

Пропонована HCI функціональність практично аналогічна до тієї, що ми можемо знайти в таких сервісах гіперскейлерів, як Google Kubernetes Engine (GKE), Elastic Kubernetes Service (EKS) від AWS або Azure Kubernetes Services (AKS). HCI використовує ті ж самі базові технології. І це не власні технології від Google, AWS, Azure або VMware - це відкриті та загальнодоступні технології саме проєкту Kubernetes, тобто - відкрите ПЗ. Ніякої «проприєтарщини» та «vendor lock» - це дуже важливо. Але саме «вендорна оболонка» (цілий спектр додаткових сервісів) робить це відкрите ПЗ придатним та ефективним для продуктивного використання в бізнес-критичних сферах.

Можливо, тут варто детальніше зупинитися на тому, що являє собою Tanzu Kubernetes Grid. TKG - це, фактично, дистрибутив немодифікованого Kubernetes і супутнього відкритого ПЗ, який підготовлено, підписано та підтримується в актуальному стані компанією VMware, яка також забезпечує і комерційну сервісну підтримку всього технологічного стеку – від гіпервізора до кластерів Kubernetes.

Які переваги використання саме HCI чи аналогічних сервісів від гіперскейлерів? Вони, в принципі, у всіх випадках однакові.

По-перше, дистрибутиви готує і підтримує в актуальному стані вендор. Це рутинна, але дуже кропітка та об'ємна робота, яка в разі «hand made» платформи повністю лягає на DevOps-інженерів. Ми ж передаємо цю роботу вендору і тому постійно маємо актуальний, когерентний, перевірений, підписаний вендором та комерційно підтримуваний ним дистрибутив.

Другий момент - це тісна інтеграція з IaaS-інфраструктурою. У Kubernetes є певний рівень абстракції щодо взаємодії з мережею, сховищами даних або з точками взаємодії з зовнішнім світом (ingress/egress endpoints). Це абстрагований інтерфейс, і адаптація до конкретної IaaS-хмари відбувається через «конектори» (Kubernetes-оператори). «Джентльменський набір» - це CNI (Container Network Interface), CSI (Container Storage Interface) та CPI (Cloud Provider Interface).

З одного боку, ці конектори реалізують абстрактний інтерфейс Kubernetes, з іншого – знають, як працювати без посередників з мережею, сховищами даних та мережевими точками входу-виходу конкретної IaaS-хмари. Як результат, все - мережева взаємодія в межах кластера, створення та використання persistent volumes, презентація сервісів у зовнішній світ тощо - відбувається «автомагічно». DevOps-інженеру навіть не потрібно виходити за рамки K8s-оточення та щось робити руками в чужинному для нього світі IaaS, він може цілком залишатися в рідній для Kubernetes парадигмі декларативного підходу.

Так ось, у випадку HCI, DevOps-інженеру навіть не потрібно бути знайомим з vSphere або іншими інструментами керування VMware, все робиться безпосередньо в середовище Kubernetes. Додатковий бонус – керування standalone VM декларативним методом (yaml + kubectl, або CI/CD)

І третя перевага - це наявність комерційної підтримки. У випадку hand-made варіанту, все, на що ви можете розраховувати в разі проблем, це на підтримку спільноти. Ніхто цілеспрямовано вашу проблему не буде вирішувати. Це не є прийнятним у випадку бізнес-критичних систем. Комерційна підтримка позбавлена цього недоліку – вендор зі всіма своїми ресурсами (а вони чималі) буде намагатися якнайшвидше вирішити конкретно вашу проблему. Від якості технічної підтримки залежить успіх і його бізнесу, а це вагомий стимул.

Ось ці три основні моменти якраз і об'єднують наш сервіс HCI із сервісами гіперскейлерів класу «managed Kubernetes».

Варіант платформи Kubernetes у форматі приватної хмари передбачає, що її масштаб не може бути довільно маленьким, є певна технологічна межа, тобто «поріг входу» доволі великий. Для деяких компаній приватна хмара може виявитися надмірною, як мінімум, на початковому етапі. Для того, щоб задовольнити потреби цих компаній ми маємо інший варіант сервісу під назвою «Kubernetes as a Service» (KaaS). Це теж платформа Kubernetes промислового класу, але на базі колективної хмари, де можна нарізати ресурсів рівно стільки, скільки потрібно.

В її основі також лежить Tanzu Kubernetes Grid, але є деякі архітектурні відмінності, пов'язані з реалізацією можливості роботи в колективній хмарі одразу декількох клієнтів з повною ізоляцією (true multi-tenancy). Однак, в цілому, функціональність KaaS майже ідентична до HCI, за винятком більшої еластичності.

А як ваша компанія відгукнулася на тренди, пов’язані зі штучним інтелектом?

Ми бачимо, що останнім часом експоненціально зростає інтерес до рішень у сфері штучного інтелекту та машинного навчання та, відповідно, і до платформ, які дають змогу ефективно працювати з подібними робочими навантаженнями. Йдеться про системи з так званими тензорними процесорами.

Тензорне ядро – дуже вузькоспеціалізований пристрій, все, що воно вміє – перемножити дві матриці 4х4 та скласти з третьою матрицею. Це потребує виконання 128 операцій – 64 множення та 64 складання. Вся магія полягає в тому, що тензорне ядро робить все це за один такт, а типовий тензорний акселератор містить сотні тензорних ядер, що дозволяє працювати йому на цьому типі навантаження в сотні і навіть тисячі разів швидше процесора загального призначення.

Беззаперечним лідером в цій сфері зараз є Nvidia, оскільки компанія не тільки пропонує апаратні акселератори, а й, завдяки її тривалим зусиллям, вже сформувалася ціла екосистема ПЗ, здатного ефективно використовувати це «залізо». MLOps/ML-інженер скоріше вибере зручне та звичне для себе середовище, ніж, скажімо, більш доступну ціну, але за рамками домінуючої екосистеми.

Саме тому ми вирішили створити власну хмарну платформу для ML-навантажень (training & inference) саме на обладнанні та технологіях Nvidia. Анонс її комерційної доступності (у двох варіантах – колективна та приватна хмара) заплановано на перший квартал 2024 року. Завдяки тісній співпраці Nvidia та VMware ми зможемо запропонувати унікальну функціональність, яка недоступна навіть у гіперскелерів - віртуалізацію тензорних та графічних акселераторів.

Це дозволить клієнтам, відповідно до поточних потреб, замовляти частину тензорного/графічного акселератора, наприклад 1/8 H100 або 1/2 L40S. Це унікальна можливість, яка зараз доступна виключно в хмарах на базі технологій VMware. Також вкрай важливим є те, що споживати ресурси тензорних акселераторів можливо безпосередньо із середовища Kubernetes (в нашому випадку, це сервіси HCI або KaaS) - всі найпопулярніші інструменти в галузі машинного навчання розраховані саме на роботу в середовищі K8s.

Таким чином, за минулий рік ми досить серйозно просунулися в бік більш високорівневих (порівняно з IaaS) сервісів: це платформи Kubernetes промислового класу з комерційною підтримкою у варіанті приватної хмари Hosted Container Infrastructure (HCI), або у варіанті колективної хмари Kubernetes as a Service (KaaS), а також платформи з тензорними акселераторами для запуску AI/ML-навантажень, також у варіантах приватної та колективної хмари.

Ще один дуже важливий напрямок, який постійно на слуху - безпека хмар.

Так, це питання знову вийшло на передній план з початком повномасштабного вторгнення. І, як показали події вже поточного року, проблема кібербезпеки не втрачає актуальності, навіть навпаки.

Минулого року ми реалізували низку проєктів зі зміцнення нашої системи безпеки, зокрема, впровадили SIEM-систему з управління подіями інформаційної безпеки, а на периметрі системного ландшафту хмари розгорнули просунуті IDS/IPS-системи промислового класу. Також ми розширили спектр доступних нашим клієнтам інструментів цього класу, тому що в моделі IaaS клієнти самі керують власними мережами. Річ у тім, що ці мережі повністю ізольовані як від мереж провайдера, так і від мереж інших клієнтів. При цьому кожен клієнт самостійно обирає топологію мережі, засоби її захисту тощо. Ми нічого не диктуємо (та і не маємо такої можливості), але надаємо цілий набір інструментів у вигляді хмарних сервісів, які клієнти можуть використовувати для реалізації тієї архітектури захисту, яку вважають доцільною для себе. А ми надійно захищаємо системний периметр хмари.

Щоб переконатися, що все робиться вірно та переконати в цьому клієнтів, ми проходимо різні атестації та сертифікації. Так, у нас вже досить давно є сертифікація відповідності ISO 27001 (потребує щорічної ресертифікації) як базової системи управління інформаційною безпекою.

Минулого року ми зробили основний акцент на технічних засобах захисту, у зв'язку з чим пройшли сертифікацію PCI DSS. Попри те, що цей стандарт було розроблено для індустрії платіжних карт, він непогано підходить і для інших сфер застосування. Перш за все, тому що він значною мірою орієнтований саме на технічні засоби захисту інформації. Під час проходження цієї сертифікації проводяться глибинні технічні перевірки досягнутого рівня безпеки, зокрема, сканування та тести на проникнення. Тож проходження атестації PCI DSS було хорошим критерієм того, наскільки ми впоралися з нашим завданням посилити саме технічний бік.

Ще одним важливим аспектом досягнутого рівня захисту даних є отримання статусу VMware Sovereign Cloud. Його суть полягає в тому, що розміщена в хмарі інформація перебуває в правовому полі певної держави та не може бути видана будь-якій іншій країні. Наразі немає єдиного загальновизнаного стандарту, який би регулював цю проблему. Тож кожна держава та вендор реалізує свій власний підхід. Компанія VMware, як глобальний вендор, також розробила свої вимоги та рекомендації в цій сфері. Примітно, що наш майданчик у Франкфурті, як виняток у зв'язку з війною, було сертифіковано як резервний у рамках концепції суверенної хмари, хоча, зазвичай, імперативною вимогою є розташування всіх хмарних платформ провайдера виключно на суверенній території.

Підбиваючи підсумок, який зараз генеральний напрямок подальшого розвитку De Novo?

Глобально - це рух у бік високорівневих хмарних сервісів класу PaaS, які зможуть задовольнити потреби наших замовників в рамках парадигми «трансформуємось у Cloud Native». Ми бачимо своє місце, перш за все, як українського інфраструктурного провайдера, що надає сучасну, ефективну, зручну та надійну платформу для розгортання будь-яких робочих навантажень. І при цьому робимо все так, щоб позбавити клієнтів необхідності займатися зовсім нецікавою їм інфраструктурою, щоб вони могли сконцентруватися на специфічних аспектах власного бізнесу. А про платформи подбаємо ми, саме в цьому ми професіонали.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365