«Від приватної хмари до Machine Learning»

Компанія De Novo провела вебінар, на якому познайомила з досвідом використання її нового хмарного сервісу ML Cloud українськими розробниками.

Максим Агєєв, генеральний директор De Novo, який звернувся з вітальним словом до учасників заходу, коротко підбив підсумки роботи компанії у 2024 році. Він повідомив, що основні зусилля було докладено у двох напрямках. Перший вектор - оновлення стека хмарних платформ, потужний розвиток платформ у Німеччині, а також підвищення продуктивності та рівнів безпеки у всіх випадках. Він зазначив, що була виконана величезна робота: інженерні команди були завантажені весь рік. В результаті рівень інформаційної безпеки, кібербезпеки, продуктивність, і загальний обсяг хмарних послуг та ресурсів, які компанія може надати до користування клієнтами, значно виріс.

Максим Агєєв: «Завдяки накопиченому протягом року досвіду експлуатації ML Cloud, приблизно на 50% були переглянуті пов'язані з цим сервісом базові ідеї, вихідні підходи та технологічні аспекти»

Другий вектор розвитку був спрямований на впровадження нового сервісу на базі технології Kubernetes, що має обслуговувати сучасних DevOps-розробників. Як було зазначено, 2023 рік був більш теоретичний, коли команди RnD вивчали технологічні аспекти того, як це має працювати, вивчали профіль та деталі попиту з боку різних типів замовників. Натомість минулий рік став роком практики. Завдяки накопиченому досвіду експлуатації ML Cloud, було значно оптимізовано та покращено пов'язані з цим сервісом базові ідеї, вихідні та технологічні аспекти. Сьогодні платформа ML Cloud продовжує вдосконалюватися.

Своїм досвідом використання хмарних сервісів De Novo поділився Вадим Литвинов, заступник директора сервісів ІТ-інфраструктури та підтримки користувачів Kernel Digital. За його словами, перенесення бізнес-додатків агрохолдингу Kernel у хмарне середовище стартувало 2018 року. Наразі в інфраструктурі компанії налічується 340 рішень категорій mission-critical або business-critical. Kernel сповідує багатохмарну стратегію: у різних публічних хмарах розміщуються специфічні для них сервіси. Так у Microsoft Azure - це, зокрема, SaaS-інструменти SharePoint, на базі яких організовано зокрема документообіг. В Oracle Cloud - логістична платформа Transit Hub, що дає змогу взаємодіяти з близько 40 тис. перевізників. Тоді як AWS використовується для зберігання резервних копій.

Історія співпраці Kernel з De Novo почалася 2019 року, тоді стартував перший проєкт із перенесення бізнес-додатків замовника в приватну хмару. Необхідність у такому кроці стала зрозуміла після досить тривалої експлуатації в публічному хмарному середовищі, де доводилося миритися з нестачею ресурсів.

Вадим Литвинов: «Історія співпраці Kernel з De Novo почалася 2019 року, тоді стартував перший проєкт із перенесення бізнес-додатків замовника в приватну хмару»

Ще одним важливим проєктом, реалізованим спільно з De Novo, стало впровадження SDN (Software Defined Network). Одним з важливих факторів успіху цього проєкту стала оперативна взаємодія з фахівцями De Novo. У випадку з гіперскейлерами на подібне було б марно й розраховувати. За підсумком, протягом 2020-2021 рр. у хмару De Novo було перенесено всі основні бізнес-додатки Kernel.

Новий етап співпраці Kernel з De Novo пов'язаний вже з технологією штучного інтелекту. Свої перші проєкти у цьому напрямку розробники агрохолдингу створювали із застосуванням платформи Google Cloud. Але пропоновані там ресурси, зокрема хмарні прискорювачі обчислень, виявилися занадто дорогими для тривалого користування. На певному етапі компанія придбала власну платформу з GPU, проте й вона мала недоліки. До того ж була потрібна професійна експертиза за впровадження AI-технологій. Отже згодом після ретельного вивчення ринку, було прийнято рішення про використання ML Cloud від De Novo.

Як зазначив доповідач, за підсумками тестування публічного сервісу ML Cloud, ця платформа показала свою ефективність. І зараз у планах Kernel - додати це рішення у свою приватну хмару.

Розповідаючи про реалізовані проєкти на базі ML Cloud, Вадим Литвинов зазначив, що це середовище надає всі необхідні функції для розробки та експлуатації проєктів, пов’язаних зі штучним інтелектом та машинним навчанням. За його словами, наявний стек дає змогу зробити у хмарі все необхідне - від розробки моделі до її бізнес-впровадження, безпосередньо в одному, умовно кажучи, вікні браузера. Відзначено, що відгуки розробників Kernel дуже позитивні.

 Kernel сповідує багатохмарну стратегію: у різних публічних хмарах розміщуються специфічні для них сервіси

Програму заходу продовжила презентація Олександра Акуленка, фахівця AI-напрямку «МК Консалтинг» (cаме у партнерстві De Novo та «МК Консалтинг» з’явилася хмарна платформа ML Cloud).

Експерт розповів, зокрема, про вбудовані інструменти, та різні можливості платформи, що дозволяють використовувати її для вирішення задач бізнесу. Серед іншого було надано інформацію про AI-систему, що інтегрується з наявною платформою відеоспостереження. Система дає змогу оперативно ідентифікувати співробітників й виявляти їхню присутність у зонах з обмеженим доступом. Крім того, наявна функціональність передбачає контроль за виробничим конвеєром із визначенням таких ситуацій, як накопичення готової продукції або пошкодження упакування.

В арсеналі компанії є і засоби розпізнавання аудіо, багатомодальної обробки документів, тощо. Крім того, на одному з українських підприємств було реалізовано проєкт з контролю якості медичних препаратів, що дав змогу істотно підвищити ефективність виробництва.

З технологічними аспектами хмарної платформи De Novo познайомив CTO компанії Геннадій Карпов. Свій виступ експерт побудував навколо головного питання: чи може український хмарний оператор протиставити на внутрішньому ринку щось відповідне, конкурентоспроможне рішенням великих світових гравців (AWS, Microsoft Azure, Google Cloud тощо). Якщо коротко - відповідь ствердна.

Олександр Акуленко представив AI-систему, яка інтегрується з наявною платформою відеоспостереження

Попри переваги, гіперскейлери мають й зворотній бік. По-перше, їх ресурси помітно дорогі. Доволі часто саме витрати на хмару є найважливішим фактором при прийнятті рішення. По-друге, платформи гіперскейлерів не завжди передбачувані в контексті підсумкової ціни -– через наявність динамічної компоненти в тарифних планах, що складно піддається прогнозуванню (але можуть легко подвоїти або навіть потроїти чек). Третій негативний момент - прив’язка до конкретної хмарної платформи (vendor lock in). До того ж у випадку гіперскейлерів буває складно забезпечити відповідність національним нормативним вимогам щодо збереження та обробки чутливих (зокрема персональних) даних.

“Що ж у такому випадку може бути альтернативою? Українська хмара! Звісно, загальні можливості гіперскейлера та локального сервіс-провайдера неспівставні, але за тих потреб та вимог, що їх висуває бізнес чи державні установи всередині країни, місцеві хмари можуть виглядати більш привабливо, аніж майданчики світових гігантів”, наголосив Геннадій Карпов.

Саме це, на прикладі хмари De Novo, наочно продемонстрував у своєму виступі доповідач. Нагадаємо, що De Novo - один з найбільших операторів хмар та комерційних ЦОД у країні - працює на ринку з 2010 року. За цей час компанія запропонувала цілу низку професійних сервісів - від захищеного дата-центру до приватних хмар (True Private Cloud, Hosted Private Infrastructure) та сервісів Hosted Desktop Infrastructure. 

Геннадій Карпов познайомив з технологічними аспектами хмарної платформи De Novo

Біля року тому оператор перейшов на новий рівень PaaS-сервісів, запропонувавши керовану платформу Kubernetes (Managed Kubernetes) для приватної та колективної хмарних платформ. Щоб підтримати запуск робочих навантажень для AI/ML додатково було створено платформу Kubernetes акселеровану GPU-прискорювачами з тензорними ядрами.

Геннадій Карпов зазначив, що хмарні сервіси Kubernetes від De Novo побудовано на базі промислового технологічного стека VMware Tanzu Kubernetes Grid. По своїм характеристикам він близький до відповідних сервісів Managed Kubernetes від гіперскейлерів, таких як AWS Elastic Kubernetes Service, Google Kubernetes Engine та Azure Kubernetes Service.

“Серед ключових цінностей сервісу від De Novo, по-перше - підтримка актуальності дистрибутиву, яким займається вендор. Так на рік виходить декілька мажорних версій Kubernetes. Друга цінність - це глибока та рідна інтеграція з шаром IaaS, що дозволяє споживати його ресурси із середовища Kubernetes без зайвих програмних прошарків. І третя - наявність комерційної підтримки на весь технологічний стек”, підкреслив Геннадій Карпов.

Ще один популярний сервіс для AI/ML - De Novo Tensor Cloud. Це спеціальне хмарне середовище для задач штучного інтелекту та машинного навчання, що підсилено найпотужнішими GPU з тензорними ядрами NVIDIA H100, L40s та L4. Важливо, що в такому акселератори інтегровано в середовище Kubernetes, тому ресурси прискорювачів можна використовувати безпосередньо в цьому середовищі.

Геннадій Карпов: «Компанія De Novo дебютувала 2010 року зі своїм першим комерційним дата-центром»

Доповідач відзначив, що унікальною перевагою платформи De Novo (цього не пропонують сьогодні навіть гіперскейлери) є можливість віртуалізації акселераторів. Це дозволяє з одного боку замовляти GPU частинами, наприклад, замовник може арендувати не всю карту, а одну восьму, одну четверту, чи половину й динамічно регулювати потужність за потреби. Друга перевага такого підходу - віртуалізований акселератор є високодоступним, у випадку апаратної відмови, працездатність акселераторів швидко відновлюється шляхом запуску на резервному хості. Також для проведення регламентних робіт не потрібно переривати роботу акселератора.

Геннадій Карпов привернув також увагу до вже згаданої хмарної платформи для  ML-інженерів - De Novo ML Cloud, яка сьогодні має повний набір інструментів для запуску, навчання та експлуатації (інференсу) AI/ML моделей. “Платформа є комплексним та збалансованим рішенням, над створенням якого довго та прискіпливо працювали фахівці De Novo та «МК Консалтинг». Й це потужне та функціональне середовище, доповнене GPU акселераторами, доступне в Україні з хмари. Відповідно всі зазначені сервіси забезпечують кращу ціну та підтримку у порівнянні з пропозиціями гіперскейлерів, якість та функціональність послуг світового класу, а також відповідність всім національним нормативам щодо зберігання та обробки даних”, резюмував доповідач.

На останок було  зазначено, що в найближчих планах De Novo - суттєве функціональне розширення хмарних сервісів, зокрема компанія працює над впровадженням послуг Database as a Service на базі промислового технологічного стека Vmware. Також компанія планує низку інших функцій, що повинні вирішувати задачі, в першу чергу, саме українських користувачів, що зберігають та обробляють дані всередині країни - в українських хмарах. 

Комп’ютерний розум: генеративний штучний інтелект у рішеннях AWS