Революція в ЦОД: AI руйнує старі правила гри

Протягом останніх 25 років у центрах обробки даних для хмарних технологій та підприємств домінували універсальні сервери X86 «pizza box». Середня щільність потужності спочатку була невисокою і повільно зростала з 3 кіловат (кВт) на стійку до приблизно 10 кВт у міру того, як центральні процесори ставали потужнішими. 

Середній термін експлуатації центру обробки даних становив щонайменше 30 років, і за цей час відбувалося багато циклів оновлення серверів. Зазвичай компанії могли будувати об'єкти з додатковим вільним простором для розширення, оскільки вимоги до потужності та охолодження серверів змінювалися незначно.

На основі динаміки поставок графічних процесорів для серверних рішень Schneider Electric прогнозує, що 60% усіх встановлених серверів будуть підтримувати додатки АІ. Ці прискорені обчислювальні сервери є справжніми робочими конячками і мають багато графічних процесорів (до 16) з декількома центральними процесорами для миттєвого оброблення даних. Вони вимагають більше енергії для роботи, і більшість з них потребують рідинного охолодження.

З появою великомасштабних моделей штучного інтелекту великих мовних моделей (LLM) та генеративного штучного інтелекту,  еволюція АІ перетворилася на революцію. Швидкість змін стала настільки неймовірною, що традиційні підходи до проєктування та розгортання ЦОД просто не встигають за потребами ринку. Для операторів дата-центрів ситуація ускладнюється тим, що лідери ринку GPU, такі як Nvidia, оновлюють свої продукти майже щороку, а їхнє енергоспоживання при цьому майже подвоюється. 

Еволюція GPU Nvidia AI і середню щільність на стійку при конфігурації в їхніх конструкціях DGX SuperPod є показовою. У 2022 році DGX SuperPods на базі графічних процесорів A100 мали середню щільність потужності близько 25 кВт на стійку. Цей показник значно зріс у 2023 році з появою H100, досягнувши приблизно 40 кВт. Ця динаміка продовжилася у 2024 році, коли покоління GH200 збільшило щільність до 72 кВт на стійку.

У перспективі випуск Nvidia GB200 у цьому році має майже подвоїти цей показник, довівши показник приблизно до 132 кВт. Якщо прогнози виправдаються, покоління VR200 2026 року стане черговим стрибком, потенційно досягнувши 240 кВт на стійку.

Якщо швидкість еволюції була недостатньою, нові екстремальні рівні щільності ставлять серйозні вимоги в плані охолодження та енергоспоживання. Чим вища щільність, тим складніше спроєктувати гібридний центр обробки даних з рідинним та повітряним охолодженням (потрібні обидва) при 132 кВт/стійку проти 10 кВт/стійку через фізичний простір, потенційне перегрівання, підтримку відмовостійкості та ефективності.

Необхідно пам'ятати, що повільна міграція до 10 кВт/стійку відбувалася протягом десятиліть, і проєкти були розгорнуті, протестовані та оптимізовані. Зараз ми не маємо такої розкоші. Ми також не матимемо декількох циклів оновлення ІТ, оскільки потужність і охолодження, необхідні для наступного покоління графічних процесорів, будуть набагато вищими, і без значних оновлень потужності та розподілу електроенергії, а також без додаткового рідинного охолодження зі спеціальними стійками, колекторами, відповідними блоками.

Центри обробки даних, оптимізовані для використання найновіших і найпотужніших графічних процесорів, повинні проєктуватися з урахуванням необхідної щільності потужності - за рік або два до цього. Знову ж таки, це будуть нові конструкції без можливості тестування та оптимізації, а більшість операторів центрів обробки даних не мають великого штату інженерів для створення нових конструкцій для кожного нового покоління Nvidia.

Щоб відповідати  шаленому темпу розвитку АІ-сегменту, індустрія шукає нові, більш гнучкі підходи. Перший з них - це використання технології "цифрових двійників". Замість того, щоб витрачати місяці на фізичне тестування та налагодження, оператори ЦОД тепер можуть створювати точну віртуальну копію своєї майбутньої інфраструктури. Цей "цифровий двійник" дозволяє симулювати робочі навантаження, прогнозувати температуру в різних зонах, оптимізувати потоки повітря та рідини, а також перевіряти надійність систем електроживлення. Інженери можуть експериментувати з різними конфігураціями ІТ-шаф і розташуванням обладнання, що дозволяє знайти найефективніше рішення ще до того, як буде закладено перший кабель. Більше того, ця технологія може використовуватись для моніторингу та управління в режимі реального часу, допомагаючи запобігати перегріву та збоям у вже працюючих ЦОД.

Другий підхід полягає в використанні перевірених еталонних проєктів. В умовах, коли кожен день на рахунку, розробка унікального дизайну з нуля стає розкішшю. Замість цього, багато компаній звертаються до великих постачальників інфраструктури, які вже мають готові, протестовані та оптимізовані проєкти для високощільних ЦОД. Ці "еталонні проєкти" є свого роду шаблонами, які включають в себе всі аспекти - від розташування серверних стійок і систем електроживлення до розведення труб для рідинного охолодження. Це дозволяє компаніям суттєво скоротити час на проєктування та мінімізувати ризики, оскільки вони використовують рішення, які вже довели свою ефективність у боротьбі з викликами, які створює АІ. Це дає змогу зосередитися на розгортанні та масштабуванні, а не на базових інженерних проблемах.

Нарешті, третій, і мабуть, найважливіший підхід - це перехід до модульного будівництва. Традиційні ЦОД будувалися роками, що абсолютно не відповідає сучасним темпам розвитку технологій. Сьогоднішній ринок вимагає, щоб інфраструктура з'являлася за лічені тижні чи місяці. Модульні ЦОД, які збираються на заводі в контрольованих умовах, дозволяють досягти цієї швидкості. Ці модулі, які часто називають "центрами обробки даних у коробці", можуть включати все необхідне - від серверних стійок і розподілу електроенергії до систем рідинного охолодження. Їх просто доставляють на місце і з'єднують, як конструктор LEGO. Це не лише прискорює будівництво, але й підвищує якість, оскільки збірка відбувається в ідеальних умовах, а не на відкритому будівельному майданчику. Такий підхід робить розгортання нових потужностей для АІ набагато більш гнучким і масштабованим, що є вирішальним фактором у сьогоднішній конкурентній боротьбі.

Таким чином, індустрія ЦОД стоїть на порозі нової ери. Традиційні підходи, орієнтовані на повільне та обережне зростання, відходять у минуле. На їх місце приходять інноваційні, швидкі та гнучкі стратегії, що базуються на цифрових технологіях та модульному будівництві. Успіх компаній в найближчі роки залежатиме не лише від того, які сервери вони оберуть, а й від того, наскільки швидко та ефективно вони зможуть адаптувати свою фізичну інфраструктуру до шалених вимог штучного інтелекту. Центр обробки даних перестає бути просто будівлею з комп'ютерами - він стає ключовим стратегічним активом, що визначає майбутнє бізнесу.