Протягом останніх 25 років у центрах обробки даних для хмарних технологій та підприємств домінували універсальні сервери X86 «pizza box». Середня щільність потужності спочатку була невисокою і повільно зростала з 3 кіловат (кВт) на стійку до приблизно 10 кВт у міру того, як центральні процесори ставали потужнішими. 

Середній термін експлуатації центру обробки даних становив щонайменше 30 років, і за цей час відбувалося багато циклів оновлення серверів. Зазвичай компанії могли будувати об'єкти з додатковим вільним простором для розширення, оскільки вимоги до потужності та охолодження серверів змінювалися незначно.

На основі динаміки поставок графічних процесорів для серверних рішень Schneider Electric прогнозує, що 60% усіх встановлених серверів будуть підтримувати додатки АІ. Ці прискорені обчислювальні сервери є справжніми робочими конячками і мають багато графічних процесорів (до 16) з декількома центральними процесорами для миттєвого оброблення даних. Вони вимагають більше енергії для роботи, і більшість з них потребують рідинного охолодження.

З появою великомасштабних моделей штучного інтелекту великих мовних моделей (LLM) та генеративного штучного інтелекту,  еволюція АІ перетворилася на революцію. Швидкість змін стала настільки неймовірною, що традиційні підходи до проєктування та розгортання ЦОД просто не встигають за потребами ринку. Для операторів дата-центрів ситуація ускладнюється тим, що лідери ринку GPU, такі як Nvidia, оновлюють свої продукти майже щороку, а їхнє енергоспоживання при цьому майже подвоюється. 

Еволюція GPU Nvidia AI і середню щільність на стійку при конфігурації в їхніх конструкціях DGX SuperPod є показовою. У 2022 році DGX SuperPods на базі графічних процесорів A100 мали середню щільність потужності близько 25 кВт на стійку. Цей показник значно зріс у 2023 році з появою H100, досягнувши приблизно 40 кВт. Ця динаміка продовжилася у 2024 році, коли покоління GH200 збільшило щільність до 72 кВт на стійку.

У перспективі випуск Nvidia GB200 у цьому році має майже подвоїти цей показник, довівши показник приблизно до 132 кВт. Якщо прогнози виправдаються, покоління VR200 2026 року стане черговим стрибком, потенційно досягнувши 240 кВт на стійку.

Якщо швидкість еволюції була недостатньою, нові екстремальні рівні щільності ставлять серйозні вимоги в плані охолодження та енергоспоживання. Чим вища щільність, тим складніше спроєктувати гібридний центр обробки даних з рідинним та повітряним охолодженням (потрібні обидва) при 132 кВт/стійку проти 10 кВт/стійку через фізичний простір, потенційне перегрівання, підтримку відмовостійкості та ефективності.

Необхідно пам'ятати, що повільна міграція до 10 кВт/стійку відбувалася протягом десятиліть, і проєкти були розгорнуті, протестовані та оптимізовані. Зараз ми не маємо такої розкоші. Ми також не матимемо декількох циклів оновлення ІТ, оскільки потужність і охолодження, необхідні для наступного покоління графічних процесорів, будуть набагато вищими, і без значних оновлень потужності та розподілу електроенергії, а також без додаткового рідинного охолодження зі спеціальними стійками, колекторами, відповідними блоками.

Центри обробки даних, оптимізовані для використання найновіших і найпотужніших графічних процесорів, повинні проєктуватися з урахуванням необхідної щільності потужності - за рік або два до цього. Знову ж таки, це будуть нові конструкції без можливості тестування та оптимізації, а більшість операторів центрів обробки даних не мають великого штату інженерів для створення нових конструкцій для кожного нового покоління Nvidia.

Щоб відповідати  шаленому темпу розвитку АІ-сегменту, індустрія шукає нові, більш гнучкі підходи. Перший з них - це використання технології "цифрових двійників". Замість того, щоб витрачати місяці на фізичне тестування та налагодження, оператори ЦОД тепер можуть створювати точну віртуальну копію своєї майбутньої інфраструктури. Цей "цифровий двійник" дозволяє симулювати робочі навантаження, прогнозувати температуру в різних зонах, оптимізувати потоки повітря та рідини, а також перевіряти надійність систем електроживлення. Інженери можуть експериментувати з різними конфігураціями ІТ-шаф і розташуванням обладнання, що дозволяє знайти найефективніше рішення ще до того, як буде закладено перший кабель. Більше того, ця технологія може використовуватись для моніторингу та управління в режимі реального часу, допомагаючи запобігати перегріву та збоям у вже працюючих ЦОД.

Другий підхід полягає в використанні перевірених еталонних проєктів. В умовах, коли кожен день на рахунку, розробка унікального дизайну з нуля стає розкішшю. Замість цього, багато компаній звертаються до великих постачальників інфраструктури, які вже мають готові, протестовані та оптимізовані проєкти для високощільних ЦОД. Ці "еталонні проєкти" є свого роду шаблонами, які включають в себе всі аспекти - від розташування серверних стійок і систем електроживлення до розведення труб для рідинного охолодження. Це дозволяє компаніям суттєво скоротити час на проєктування та мінімізувати ризики, оскільки вони використовують рішення, які вже довели свою ефективність у боротьбі з викликами, які створює АІ. Це дає змогу зосередитися на розгортанні та масштабуванні, а не на базових інженерних проблемах.

Нарешті, третій, і мабуть, найважливіший підхід - це перехід до модульного будівництва. Традиційні ЦОД будувалися роками, що абсолютно не відповідає сучасним темпам розвитку технологій. Сьогоднішній ринок вимагає, щоб інфраструктура з'являлася за лічені тижні чи місяці. Модульні ЦОД, які збираються на заводі в контрольованих умовах, дозволяють досягти цієї швидкості. Ці модулі, які часто називають "центрами обробки даних у коробці", можуть включати все необхідне - від серверних стійок і розподілу електроенергії до систем рідинного охолодження. Їх просто доставляють на місце і з'єднують, як конструктор LEGO. Це не лише прискорює будівництво, але й підвищує якість, оскільки збірка відбувається в ідеальних умовах, а не на відкритому будівельному майданчику. Такий підхід робить розгортання нових потужностей для АІ набагато більш гнучким і масштабованим, що є вирішальним фактором у сьогоднішній конкурентній боротьбі.

Таким чином, індустрія ЦОД стоїть на порозі нової ери. Традиційні підходи, орієнтовані на повільне та обережне зростання, відходять у минуле. На їх місце приходять інноваційні, швидкі та гнучкі стратегії, що базуються на цифрових технологіях та модульному будівництві. Успіх компаній в найближчі роки залежатиме не лише від того, які сервери вони оберуть, а й від того, наскільки швидко та ефективно вони зможуть адаптувати свою фізичну інфраструктуру до шалених вимог штучного інтелекту. Центр обробки даних перестає бути просто будівлею з комп'ютерами - він стає ключовим стратегічним активом, що визначає майбутнє бізнесу.

Інфраструктура центрів обробки даних входить у фазу трансформації під тиском нових вимог, які створюють високопродуктивні рішення на базі штучного інтелекту. Вже зараз стандартні методи повітряного охолодження не справляються з тепловими навантаженнями, які досягають 100–150 кВт на стійку. Пряме рідинне охолодження поступово перестає бути експериментальним рішенням і перетворюється на необхідний архітектурний компонент для забезпечення стабільності та масштабованості високопродуктивних обчислень.

Особливість сучасних AI-кластерів полягає в тому, що вони потребують високої щільності розміщення GPU, TPU та інших високопродуктивних компонентів. Це, своєю чергою, зумовлює надмірне тепловиділення, яке не може бути ефективно відведене лише вентиляторами чи класичними системами повітряного охолодження. Саме тому в індустрії формується консенсус щодо доцільності гібридного підходу, за якого рідина використовується для охолодження процесорів, а повітря - для супутніх компонентів. Подібна архітектура дає змогу зберегти гнучкість конфігурації та уникнути повної перебудови інфраструктури.

На цьому тлі стратегічна співпраця між Schneider Electric і Motivair відкриває нові можливості для дата-центрів, які націлені на швидке масштабування AI-навантажень. Придбання контрольного пакета акцій Motivair надало Schneider доступ до глибокої технічної експертизи в сфері рідинного охолодження, а також до напрацьованих рішень, що вже кілька років використовуються у співпраці з  технологічними лідерами. 

Так Motivair вже 8 років працює з NVIDIA, тож їхні рішення ідеально підходять до AI-кластерів цього виробника. Нові рішення запускаються швидко, адже охолодження вже адаптоване до розміру та архітектури кластерів.

Завдяки такому підходу Schneider і Motivair:
- використовують готові й перевірені модулі, що скорочують терміни впровадження з місяців до тижнів,
- забезпечують сумісність з серверами різних виробників,
- надають «пазли» для швидкої збірки складної AI-інфраструктури.

У результаті клієнти отримують доступ до рішень, попередньо адаптованих до розміру та вимог новітніх кластерів. Це дозволяє значно скоротити час на узгодження параметрів охолодження і забезпечує високу передбачуваність під час розгортання нової AI-інфраструктури.

Інженерна платформа Schneider передбачає глибоку інтеграцію з існуючими або новими дата-центрами. Рішення на базі блоків розподілу холоду дозволяють адаптуватися до будь-яких архітектурних вимог, незалежно від того, чи йдеться про тепловідведення рідина-повітря, чи рідина-рідина. При цьому, у більшості випадків модернізація можлива без повної реконструкції інфраструктури, що знижує загальні витрати на перехід до рідинного охолодження.

Сучасне охолодження - це не просто технічна функція, а невід’ємна частина архітектури дата-центру нового покоління. Резюмуючи можна відзначити:
Гібридне охолодження - must have. І повітря, і рідина стануть частинами нової реальності.
Масштабованість і швидкість впровадження - критичні. Готові модулі - перевага.
Партнерство з експертами - шлях до безболісного переходу у нову еру.

Schneider Electric разом із Motivair формують нову норму, в якій охолодження - це не обмеження, а інструмент масштабування. Саме така еволюція інженерного підходу відкриває можливість розвивати AI-навантаження у передбачуваному, контрольованому та ефективному режимі.

У наступній частині ми розглянемо технічні варіанти реалізації архітектур на базі рідинного охолодження, а також підходи до інтеграції з енергетичною та мережею інфраструктурою.

У міру того, як динамічно розширюється застосування в бізнесі технології штучного інтелекту, на передній план виходить впровадження систем рідинного охолодження.

Необхідність в імплементації даної системи пов’язана з появою в дата-центрах спеціалізованих серверів, оснащених високопродуктивними GPU та TPU процесорами, що мають суттєво більші показники TDP в порівняні з традиційними серверами, котрі використовують повітряну систему охолодження своїх компонентів. Повітряна система охолодження бездоганно виконує покладені на неї функції в разі, коли значення TDP менші за 700 Вт. Коли значення TDP більші від цього значення, це призводить до необхідності збільшення фізичних розмірів сервера, як наслідок, кількість серверів, що можуть бути встановленні в одну серверну шафу зменшується. Всі ці факти призводять до збільшення затримки (latency) між GPU та TPU, що скорочує час навчання AI-моделей, а це є одним з найважливіших факторів для інвестицій у АІ.  

Нагадаємо, GPU (Graphics Processing Unit, графічний процесор) - це спеціалізований електронний компонент, призначений для обробки графічної інформації.  GPU розроблялися для прискорення обробки зображень та відео, їхня паралельна архітектура виявилася дуже ефективною для широкого спектру обчислювальних завдань, зокрема в машинному навчанні, наукових розрахунках та інших сферах. Своєю чергою, TPU (Tensor Processing Unit) – тензорний процесор, розроблені Google спеціально для прискорення завдань машинного навчання, особливо тих, що використовують тензори (багатовимірні масиви даних). При цьому TDP - параметр, який характеризує тепловиділення процесора або іншого компонента комп'ютера. Даний параметр відображає, яку кількість тепла потрібно відвести від цього компонента, щоб забезпечити його нормальну роботу.

Версії навчальних AI-серверів із рідинним охолодженням стають дедалі поширенішими, а деякі моделі, розраховані виключно на рідинне охолодження. Існує два основні підходи до рідинного охолодження серверів: прямий і занурювальний. Варто зазначити, що обидва ці підходи можуть бути використані як з однофазними, так і з двофазними рідинами.

Пряме рідинне охолодження (однофазне), також зване прямим охолодженням кристала, стало кращим методом у сучасній індустрії. Холодні пластини використовують для відведення тепла від компонентів сервера, як-от графічні процесори, без будь-якого контакту між рідиною і сервером. Цей метод дає змогу звести до мінімуму, а в деяких випадках і зовсім відмовитися від використання серверних вентиляторів і оптимізує використання простору в стійках. До інших причин такої переваги галузі належать адаптованість до наявних конфігурацій із повітряним охолодженням, простота реалізації та нормативні переваги порівняно з двофазними рідинами.

Більшість серверів із прямим рідинним охолодженням вимагають гібридного або змішаного підходу до охолодження (повітря плюс рідина), оскільки деякі компоненти в сервері все ще потребують повітряного охолодження. Навіть якщо деякі з серверів на 100% безпосередньо охолоджуються рідиною, інше ІТ-обладнання в центрі обробки даних, як-от системи зберігання та мережі, все одно потребує повітряного охолодження. Тому в більшості дата-центрів зі штучним інтелектом рідинне охолодження співіснуватиме з традиційним повітряним охолодженням у найближчому майбутньому.

Як наголошують фахівці Schneider Electric, важливо розуміти, що рідинне охолодження - це архітектура, а не окреме рішення. Воно являє собою комплексну систему, спрямовану на оптимізацію теплової ефективності різних компонентів. Така тісна інтеграція з ІТ-пристроями вимагає ретельної координації з наявною інфраструктурою, включно з традиційними системами відведення тепла.

Хоча архітектури рідинного охолодження відрізняються від традиційних архітектур з використанням охолодженої води, деякі моменти залишаються незмінними. В обох архітектурах тепло від ІТ-обладнання передається назовні за допомогою системи відведення тепла, розташованої зовні. Фактично, у багатьох випадках під час модернізації можна використовувати більшу частину наявної фізичної інфраструктури, а не встановлювати нову спеціальну систему відведення тепла для серверів із рідинним охолодженням.

Крім того, якщо проєкт є новим центром обробки даних, є додаткова свобода вибору чилера, що забезпечує оптимальний баланс ефективності та продуктивності для навантажень як із повітряним, так і з рідинним охолодженням. Отже, чим же насправді відрізняються архітектури з повітряним і безпосереднім рідинним охолодженням?

У системах рідинного охолодження Schneider Electric використовуються блоки розподілу холоду (БРХ), які передають тепло від холодних пластин до іншої частини системи охолодження.

БРХ можуть передавати тепло двома способами. В одному використовується теплообмінник рідина-повітря (як радіатор), тоді як у другому - теплообмінник рідина-рідина. БРХ існують на рівні стійки, ряду або кімнати.

Виникає резонне запитання: «Чому б замість БРХ не використовувати воду для охолодження безпосередньо з холодильної установки?» І тут слід мати на увазі, що вода для відведення тепла від ІТ-компонентів тече крихітними каналами в холодильній пластині, які піддаються засміченню, якщо вода не відфільтрована і не очищена.

За допомогою фільтрації з води видаляються частинки розміром понад 25-50 мікрон, а хімічна обробка запобігає біологічному росту та забрудненню. Тому й виникла необхідність у БРХ. По суті, при цьому використовується теплообмінник для ізоляції системи водопостачання об'єкта від ІТ-системи. БРХ також забезпечує інші ключові функції, включно з регулюванням потоку води, її температури та тиску. Система управління БРХ покликана підтримувати постійну температуру на чипах, щоб не допустити теплового удару і пошкодження мікросхем.

Після вивчення архітектурних особливостей рідинного охолодження перейдемо до рекомендацій з планування, які необхідні для успішного впровадження таких рішень в AI дата-центрі. І в наступному пості цього блогу розглянемо шляхи розв'язання загальних проблем, що пропонує Schneider Electric, у рішеннях щодо впровадження рідинного охолодження.

Роль директора з інформаційних технологій зазнає сьогодні серйозних змін. ІТ знаходяться в центрі бізнес-стратегії, оскільки цифрові технології  «живлять» і підтримують глобальну економіку. А критичність ІТ у всіх аспектах бізнесу призвела до того, що CIO перестали виконувати лише функції з розгортання, експлуатації і обслуговування ІТ-інфраструктури та зосередилися на стратегічних питаннях бізнесу.

ІТ-директори дедалі частіше отримують провідну роль у просуванні бізнес-інновацій, узгодженні ІТ-проєктів із бізнес-цілями, цифровізації бізнес-операцій та керують програмами зміни корпоративної організації. Таке розширення ролі робить їхню роботу важливішою і складнішою.

Однак не так широко висвітлюється той факт, що традиційна роль CIO з надання ІТ-послуг також стала більш важливою і складною. Зрештою, вплив ІТ-директора на стратегію та реалізацію бізнесу залежить від безперервності надання ІТ-послуг. Тому успіх CIO ґрунтується на міцному фундаменті підтримки надійних, безпечних і стійких ІТ-операцій. Однак в умовах високорозподілених гібридних ІТ-середовищ це стає дедалі складніше.

Сучасне програмне забезпечення для управління інфраструктурою центрів обробки даних (DCIM, Data Center Infrastructure Management), оптимізоване для розподілених середовищ, відіграє важливу роль у підтримці цієї основи для гібридних центрів обробки даних з розподіленою ІТ-інфраструктурою. В інформаційно-аналітичній статті від Schneider Electric «Як сучасне DCIM розв'язує проблеми управління ІТ-директорів у розподілених, гібридних ІТ-середовищах» інфраструктурні системи живлення й охолодження розподілених і периферійних ІТ-установок стійкішими, фізично й кібербезпечнішими, а також екологічнішими.

Традиційна система DCIM була розроблена і використовувалася для моніторингу пристроїв і планування ресурсів ІТ-простору у великих єдиних центрах обробки даних. Але часи управління єдиним ЦОДом підприємства минули. Вимоги бізнесу змушують CIO гібридизувати архітектуру ЦОДів і портфеля ІТ, розміщуючи необхідні потужності не тільки в ЦОДах, а й нарощуючи їх на віддалений об’єктах - іноді з великим розмахом. Крім управління і підтримки стійких і безпечних операцій на всіх цих майданчиках, від ІТ-директорів тепер вимагають звітів про стійкість їхніх ІТ-операцій. Програмні інструменти DCIM розвиваються, щоб CIO та їхні команди операторів могли виконувати свою роботу ефективніше.

Сучасні пропозиції DCIM спрощують процес придбання та розгортання, полегшуючи початок роботи та використання інструменту в розподіленому портфелі ІТ. Єдиний вхід у систему дає змогу переглядати всі об’єкти й активи в сукупності або окремо з будь-якого місця. Обслуговування програмного забезпечення та прошивок пристроїв можна автоматизувати та виконувати на відстані. Ці нові пропозиції спрощують віддалене спостереження за інфраструктурою електроживлення та охолодження для підтримання доступності, розв'язують проблеми безпеки та стійкості.

Пристрої моніторингу довкілля в ЦОДах можуть використовуватися як для виявлення та відстеження температури, вологості, джерел рідини, наявності диму та вібрації, так і, зазвичай, інтегруються з камерами спостереження, дверними датчиками та картами доступу для забезпечення фізичної безпеки віддалених ІТ-установок. Контрольовані та керовані за допомогою програмного забезпечення DCIM, ці пристрої допомагають віддаленим операційним групам відстежувати активність людей навколо критично важливих ІТ, а також умови навколишнього середовища, які також можуть загрожувати стійкості бізнес-операцій. Що стосується кібербезпеки, то сучасні рішення DCIM надають інструменти для забезпечення того, щоб під'єднані до мережі пристрої інфраструктури електроживлення та охолодження не стали мішенню для кібератаки.

Усі ці пристрої, а також сервер і шлюз DCIM мають постійно оновлюватися останніми версіями прошивок і програмних апдейтів. Кіберзлочинці постійно працюють над пошуком вразливостей у наявному коді, щоб зламати пристрої для крадіжки даних, керування пристроями, виклику збоїв тощо. Нові виправлення прошивки та програмного забезпечення усувають помилки та часто відомі вразливості в системі безпеки, забезпечуючи додаткове підвищення продуктивності. Ці оновлення слід встановлювати або застосовувати, щойно вони стають доступними від постачальника. Без ефективного рішення DCIM цей процес вимагає постійної дисципліни та дій з боку операційної команди.

Крім того, функції та параметри безпеки, увімкнені та налаштовані під час початкового встановлення та монтажу, повинні підтримуватися протягом усього терміну служби пристрою інфраструктури, мережевого пристрою або сервера керування/шлюзу. Якщо звести до мінімуму кількість користувачів, які мають право змінювати ці параметри, то це зменшить імовірність внесення ненавмисних або неприпустимих змін. Крім того, ці параметри необхідно регулярно перевіряти, щоб переконатися, що вони залишаються вірно налаштованими з плином часу. Це вимагає додаткової, постійної дисципліни та регулярних дій з боку операційної команди.

Отже Інструменти DCIM з функцією оцінки безпеки можуть значно спростити всю вищеописану роботу принаймні для пристроїв інфраструктури електроживлення та охолодження. Такі інструменти сканують усі під'єднані пристрої в усьому ІТ-портфелі та нададуть звіт, у якому буде вказано застарілі мікропрограми та скомпрометовані налаштування безпеки. Деякі інструменти DCIM також автоматизують оновлення мікропрограмного забезпечення і надають засоби для виконання масових налаштувань параметрів безпеки одразу для декількох пристроїв, що значно спрощує процес.

DCIM можна використовувати для зниження енергоспоживання та підтримки концепції зменшення викидів парникових газів в ІТ-операціях, а також для отримання базової інформації для відстеження та звітності за показниками сталого розвитку. Зниження енергоспоживання може бути досягнуто за допомогою функцій планування та моделювання DCIM. Ці інструменти дають змогу краще узгодити енергоспоживання з ІТ-навантаженням, скорочуючи або відключаючи невикористовувані ресурси інфраструктури. Крім того, програмне забезпечення може підказати, де можна консолідувати ІТ-навантаження, щоб знизити як енергоспоживання ІТ, так і втрати енергії в інфраструктурі, що підтримує. У новому технічному документі описується кілька конкретних прикладів того, як інструменти планування і моделювання DCIM можуть допомогти знизити енергоспоживання.

Підбиваючи підсумок, необхідно зазначити, у міру того, як роль CIO розширюється і вони стають рушійною силою бізнес-стратегії, цифровізації та інновацій, їхня традиційна роль із надання ІТ-послуг залишається вкрай важливою. Однак ця роль стала набагато складнішою, оскільки портфель послуг став більш географічно розподіленим і розподіленим між хмарою, ЦОДом та Edge. Необхідно постійно відстежувати та підтримувати відмовостійкість і безпеку ІТ-систем по всьому портфелю ІТ-активів. Водночас зростає потреба у відстеженні, звітності та підвищенні екологічної стійкості. Функції моніторингу та сповіщення, а також планування і моделювання DCIM вирішують ці завдання і допомагають зробити розподілені, гібридні ІТ стійкішими, безпечнішими та екологічнішими.