Збираємо полігон на NVIDIA H200 NVL

NVIDIA H200 – передовий графічний процесор з тензорними ядрами для прискорення генеративного штучного інтелекту, великих мовних моделей (LLM) та високопродуктивних обчислень (HPC). Зроблений на архітектурі NVIDIA Hopper, він має 141 гігабайт (ГБ) пам'яті HBM3e зі швидкістю 4,8 терабайта за секунду (ТБ/с) — майже вдвічі більше, ніж у попередника H100, з більшою у 1,4 рази пропускною здатністю пам'яті.  

Це не найпотужніший процесор NVIDIA. Але, на відміну від флагманського B200, сервери на H200 не вимагають ані складної інженерної інфраструктури, ані систем рідинного охолодження - вони інтегруються у звичайні серверні стійки.

Платформи-компаньйони

NVIDIA веде каталог кваліфікованих серверних платформ партнерської екосистеми. Він містить сумісні апаратні рішення для заданого типу та кількості GPU. Представлена там ASUS ESC8000A-E13P, двопроцесорна платформа на AMD EPYC 9005 класу NVIDIA MGX, розрахована на встановлення до 8 прискорювачів H200 NVL або RTX PRO 6000 Blackwell Server Edition.

З кожним новим поколінням графічних процесорів дизайн серверів ускладнюється: висока продуктивність має наслідком підвищені вимоги до енергоживлення і охолодження. NVIDIA H200 NVL споживає 600 ват – у півтора рази більше  за H100. За сумарного споживання багатопроцесорних систем у кілька кіловат супровід подібних серверів стає справою центрів обробки даних з просунутою інфраструктурою.

NVIDIA H200 NVL, журавель у руках

H200 NVL - двослотова карта, яка підключається до сервера по інтерфейсу PCIe 5.0 x16.

GPU живиться від 8-контактного роз'єму EPS, розрахованого на підвищене споживання. Тепловідвід забезпечують покращена конструкція вентилятора та радіатора, разом з примусовою конвекцією з боку серверної платформи.

Два або чотири таких GPU можна поєднати за допомогою мостів NVLink (H100 NVL об’єднуються лише парами). Це забезпечує пропускну здатність до 1,8 ТБ/с та сумарний обсяг пам'яті 564 ГБ HBM3e – втричі більше у порівнянні зі здвоєними H100 NVL. Дует двох H200 NVL забезпечує пропускну здатність між відеокартами 900 ГБ/с — на 50% більше порівняно з H100 NVL та в 7 разів швидше, ніж PCIe Gen5.

Тестувальники вважають H200 гарним вибором для великих моделей LLM зі 100+ мільярдами параметрів та обробки послідовностей з десятками тисяч токенів.

Платформа на столі

ASUS RSC8000A-E13P має висоту 4U і стає в типові стійки. Платформа відповідає референсній архітектурі MGX, яка стандартизує проектування серверів на типових модулях: центральних і графічних процесорах, блоках обробки даних (DPU).

Вентилятори знизу забезпечують потік повітря до нижньої секції з процесорами, мережевими картами та пам'яттю, тоді як вентилятори зверху призначені для охолодження графічних процесорів та накопичувачів.

На передню панель виведена частина портів вводу/виводу (mini DisplayPort, два порти USB) та дисплей Q CODE для перевірки POST-кодів.

Це система з двома процесорами AMD EPYC 9005 та 12 модулями DIMM DDR5 на процесор, загалом 24 DIMM.

Окремої уваги заслуговує організація охолодження системи: припливна вентиляція передньої панелі, повітроводи, потужні знімні вентилятори в середній перегородці.

Все це призначено для надійної роботи двох потужних CPU та восьми GPU, споживанням до 600 ват кожен.

Платформа оснащена чотирма блоками живлення Delta потужністю 3,2 кВт з резервуванням 3+1. Поруч із блоками живлення розташовані задній порт керування, порт USB 3.0 та два порти 10Gbase-T вбудованої мережевої карти Intel X710-AT2.

Реальне споживання таких систем може суттєво відрізнятися залежно від конфігурації, кількості встановлених прискорювачів, центральних процесорів та мережевих карт, наближаючись у максимальному наповненні до 5 кВт. Крім найненажерливіших NVIDIA H200 NVL та RTX PRO 6000 Blackwell SE cистема дозволяє використовувати і молодші рішення, наприклад, NVIDIA H100 NVL. Графічні процесори можна поєднувати 2- та 4-канальні мостами NVLink.

Загалом, ASUS ESC8000A-E13P – чудова система. Особливо для завдань, де потрібна нарощувана потужність графічних процесорів і є обмеження щодо бюджету. Для «дорослих» проектів NVIDIA пропонує власні фабрики NVIDIA DGX H200.

Kingston повертається у «вищу лігу» серверних NVMe SSD