Земне життя багатографічних серверів

Поки хмарні гіперскейлери будують надпотужні кластери з рідинним охолодженням, звичайний бізнес розгортає власну АІ-інфраструктуру «на землі». Для запуску корпоративних LLM, RAG-систем та аналітики компанії обирають практичні сервери з 2–8 PCIe-прискорювачами. Проте дефіцит H200 NVL змушує ринок шукати альтернативи: від «народного Blackwell» (RTX PRO 6000 і RTX 5090) до нових рішень від AMD. 

Ринок багатографічних серверів (2–8 GPU і більше) здебільшого підживлюється розвитком штучного інтелекту. Орієнтовний розподіл попиту виглядає так:

• AI та машинне навчання — 60–80% 
• HPC і наукові розрахунки — 10–20% 
• Професійна графіка, рендеринг, VFX — 5–15% 
• Віртуалізація робочих місць (VDI/vGPU) — 5–10% 

Окрім хмарних «небожителів», власну AI-інфраструктуру активно розгортають корпоративні центри обробки даних, середні та великі компанії, які прагнуть  запускати власні LLM та AI-сервіси: банки, телеком-оператори, промислові холдинги, роздрібні мережі. 

Їхній типовий сценарій — сервер із 2–8 GPU для RAG-систем, корпоративних чат-ботів, аналізу документів, пошуку знань та рекомендаційних систем. Сервери з кількома GPU активно використовують у наукових дослідженнях, інженерному моделюванні, симуляціях, обробці великих масивів даних, професійній візуалізації. 

Дефіцит – двигун торгівлі

На ринку професійних графічних прискорювачів для AI утворився дефіцит H200 NVL. Основні причини такі:

• Обмежене виробництво HBM3e. Критичним компонентом H200 є не стільки сам GPU, скільки 141 ГБ пам'яті HBM3e. Виробництво HBM залишається одним із головних стримуючих чинників подальшого роздування AI-бульбашки.  SK hynix, Samsung і Micron не встигають за попитом.

• Пріоритет гіперскейлерів. NVIDIA насамперед виконує контракти найбільших клієнтів — Microsoft, Amazon, Google, Oracle, Meta, xAI та OpenAI. OEM-виробники серверів (Dell, HPE, Lenovo, Supermicro) отримують менші квоти, решті ринку достаються крихти, з тривалими термінами очікування. 

• Популярність H200 NVL для інференсу. Кілька H200 NVL забезпечують достатній обсяг пам’яті для запуску великих мовних моделей. Це приваблива характеристика для корпоративних серверів, де потрібна висока продуктивність за помірніших вимог до енергоспоживання й вартості, ніж у систем на базі старших B200, B300, GB200.

• Переорієнтація виробництва на Blackwell. NVIDIA поступово переносить виробничі потужності на B200, B300, GB200 та майбутні платформи Rubin. Компанія не зацікавлена в істотному розширенні випуску Hopper – архітектури, до якої належить H200, - навіть попри високий попит. 

Для великих AI-хмар H200 NVL ніколи не був основним продуктом. Там домінують SXM/HGX-системи з GPU, об’єднаними швидкісними NVLink/NVSwitch у складі масштабованої AI-інфраструктури. Високе мистецтво вимагає жертв:

• споживана потужність сучасного B200 сягає приблизно 1000 Вт, що значно перевищує можливості стандартних PCIe-карт;
• для розкриття повної продуктивності потрібен NVLink 5, який реалізується в платформах HGX;
• такі системи майже завжди потребують рідинного охолодження.

Натомість H200 NVL став популярним рішенням для скромних хмарних операторів, наземних корпорацій та дослідницьких лабораторій із конфігураціями до 8 GPU та підтримкою NVLink. Ці прискорювачі зайняли нішу своєрідної «золотої середини»: вони значно перевершують H100 завдяки HBM3e, але водночас простіші та дешевші за Blackwell-системи B200, GB200, B300.

Тепер ринок відносно доступних GPU-серверів, ймовірно, розділиться на кілька сегментів.

Народний Blackwell

NVIDIA пропонує RTX PRO 6000 Blackwell Server Edition, PCIe-прискорювачі для AI-інференсу, агентних систем, корпоративних серверів. Карти оснащені 96 ГБ GDDR7 ECC, мають помірне енергоспоживання та двослотовий дизайн, подібний до H200 NVL. У типовому сервері можна розмістити 8-10 таких GPU. 

RTX PRO 6000 не замінять H200 NVL для великих моделей, проте можуть відібрати значну частку ринку локального AI, RAG-систем, CAD+AI та відеоаналітики.

Зберігається стійкий попит на сервери з кількома GeForce RTX 5090. Їхніми перевагами є висока продуктивність, 32 ГБ GDDR7 на GPU, доступність через споживчий канал постачання та демократична ціна – близько $4.5K за прискорювач. 

Недоліки RTX PRO 6000 і RTX 5090 у порівнянні з H200 NVL – повільніша пам’ять GDDR7 та відсутність NVLink – для багатьох сценаріїв AI-інференсу є цілком прийнятним компромісом. Водночас підтримка низькоразрядних форматів FP4 і FP8 архітектурою Blackwell певною мірою нівелює переваги HBM великої ємності, дозволяючи ефективніше використовувати доступний обсяг відеопам’яті.

Сервери з 2–4 RTX PRO 6000 Blackwell або 2–4 RTX 5090 значно доступніші за HGX-платформи, але вже дозволяють запускати моделі рівня Llama 70B, Qwen 72B локально. Для багатьох організацій вони стають реальною альтернативою дорогим кластерам на H100/H200.

Вікно можливостей для AMD

Нещодавно AMD анонсувала GPU Instinct MI350P — першу з 2022 року PCIe-карту серії Instinct, яку можна встановити в будь-який сервер із підтримкою двослотових GPU з повітряним охолодженням. AMD не реалізувала на MI350P прямі канали обміну даними між GPU через Infinity Fabric. Уся міжкарткова взаємодія відбувається через PCIe 5.0 x16 із відповідним обмеженням швидкості. Вісім карток у сервері — це вісім ізольованих прискорювачів, без можливості об'єднання в єдиний високошвидкісний домен пам'яті, один із головних недоліків новинки.

Втім, відсутність H200 NVL дає шанс для Instinct MI350P. Новий прискорювач оснащений 144 ГБ пам’яті HBM3e проти 141 ГБ у H200 NVL. Крім того, його архітектура сучасніша, тоді як H200 NVL — це покоління Hopper поважного віку. Для багатографічних серверів у NVIDIA є RTX Pro 6000 Blackwell Server Edition з 96 ГБ GDDR7, але немає нічого демократичного на пам'яті HBM3e. 

Підтримка FP4 новішими GPU частково девальвує головну перевагу H200 NVL — великий обсяг пам'яті. Те, що у 2024 році вимагало 141 ГБ HBM3e, у 2026 році нерідко поміщається в 96 ГБ GDDR7. Сьогодні дефіцит H200 вже не виглядає настільки катастрофічним для корпоративного сегмента, як міг би два роки тому. AMD Instinct MI350P з 144 ГБ пам'яті HBM3e матиме перевагу ще й через підтримку низькоразрядних форматів обчислень. 

З цієї таблиці видно цікаву річ: RTX PRO 6000 Blackwell Server Edition майже наздоганяє H200 NVL у FP4 (4 PFLOPS проти 3,3 PFLOPS FP8 у H200 NVL), але програє через утричі меншу пропускну здатність пам'яті (1,6 проти 4,8 ТБ/с) і відсутність NVLink. Саме тому для великих LLM продуктивність часто впирається не в тензорні ядра, а в пам'ять і міжпроцесорний обмін даними.

Головним бар’єром для AMD залишається програмне оточення. Платформа AMD прискорення обчислень на GPU ROCm (Radeon Open Compute) є найближчим аналогом NVIDIA CUDA. Але CUDA існує з 2007 року і за цей час навколо неї сформувалася величезна екосистема. Практично всі нові AI-моделі спочатку розробляються та оптимізуються саме під CUDA. AMD обрала інший підхід. Основна ідея ROCm - не створити окремий світ, а максимально забезпечити сумісність із CUDA. Значну частину CUDA-коду можна конвертувати для роботи в середовищі AMD.

Програмний стек AMD для AI базується на Kubernetes GPU Operator, AMD Inference Microservices та відкритих інструментах машинного навчання. Компанія заявляє про нативну підтримку PyTorch і активно розвиває інтеграцію з популярними AI-фреймворками. Для нових проектів, де немає жорсткої прив'язки до CUDA, ROCm вже є цілком робочим варіантом. Натомість міграція існуючих рішень, оптимізованих бібліотек і специфічних інструментів потребує додаткових зусиль.

Основні слабкі сторони ROCm: менше оптимізованих бібліотек, менше інструментів профілювання, менше документації та прикладів. Для більшості дослідників і компаній CUDA залишається зручним вибором завдяки зрілій екосистемі, широкій підтримці бібліотек і швидкій появі оптимізацій для нових моделей.

ROCm вже давно не можна вважати експериментальною платформою. Це зріле середовище для професійних обчислень, навчання та інференсу AI-моделей. Проте за масштабом екосистеми, кількістю оптимізованих інструментів і швидкістю впровадження нових можливостей CUDA поки що зберігає помітну перевагу.

Головна інтрига Instinct MI350P полягає не в апаратних характеристиках. За обсягом пам'яті HBM3e та можливостями інференсу новинка виглядає цілком конкурентоспроможною. Питання в тому, чи готові корпоративні замовники проміняти звички на привабливіші характеристики та потенційно нижчу вартість володіння.

Перерозподіл ринку

Формально, поточний кастинг кандидатів у багатографічні сервери виглядає так:

H200 NVL був майже ідеальним продуктом для помірно дорогих серверів із 4–8 GPU. Його дефіцит прискорить відхід: великі компанії підуть у HGX, а середні — у RTX PRO, RTX 5090 і альтернативні PCIe AI-прискорювачі. 

Класичні сервери з кількома PCIe GPU залишатимуться фундаментом AI-інфраструктури «на землі». Ринок, який протягом багатьох років не отримував нових PCIe-графічних процесорів із HBM-пам’яттю, очікує появи конкурентних пропозицій.

Стратегія охолодження ЦОД для епохи AI