| 0 |
|
У недавній презентації KAIST (Корейський інститут передових наук і технологій) і Tera (Terabyte Interconnection and Package Laboratory) була представлена дорожня карта HBM і детально розказано про те, чого можна очікувати від стандартів наступного покоління. У звіті описано кілька нових стандартів HBM, які готуються до випуску, таких як HBM4, HBM5, HBM6, HBM7 і HBM8.
Так HBM4 буде стандартом для дата-центрів нового покоління і графічних процесорів штучного інтелекту, які з'являться на ринку в 2026 році. Компанії AMD і NVIDIA підтвердили використання HBM у своїх продуктах MI400 і Rubin.
Дослідницький центр також дає деяке уявлення про плани NVIDIA, які можуть мати певне значення, враховуючи, що TeraByte відповідає за методології міжз'єднань і упаковки для пам'яті HBM.
В першу чергу, відзначаються NVIDIA Rubin і Rubin Ultra, які будуть використовувати пам'ять HBM4 і HBM4e відповідно. В офіційній дорожній карті NVIDIA показує Rubin з 8 сайтами HBM4 і Rubin Ultra з 16 сайтами HBM4. Для кожного варіанту є два поперечних перерізи графічного процесора, але Ultra має більший поперечний переріз, що забезпечує подвоєну обчислювальну щільність у порівнянні зі стандартною версією Rubin.
За даними дослідницької компанії, Rubin матиме розмір кристала GPU 728 мм2 при споживанні 800 Вт на кристал. Це стосується тільки стандартної версії Rubin. Розмір інтерпозера складе 2194 мм2 (46,2x48,5 мм), а загальна ємність його VRAM становитиме від 288 до 384 ГБ із загальною пропускною здатністю 16-32 ТБ/с. Загальна потужність чіпа становить 2200 Вт, що майже в два рази перевищує потужність графічних процесорів Blackwell B200.
Основні характеристики стандарту пам'яті HBM4:
Швидкість передачі даних: ~ 8 Гбіт/с.
Кількість входів/виходів: 2048 (4096).
Загальна пропускна здатність: 2,0 ТБ/с.
Кількість стеків кристалів: 12/16-Hi.
Ємність на кристал: 24 Гб.
Ємність на HBM: 36/48 ГБ.
Потужність корпусу на HBM: 75 Вт
Метод упаковки: мікробампи (MR-MUF)
Метод охолодження: рідинне охолодження Direct-To-Chip (D2C)
Індивідуальна архітектура базового кристала HBM
Процесор NMC + LPDDR в базовому кристалі
Платформи NVIDIA Rubin і Instinct MI400
Цікаво, що AMD Instinct MI400, який також буде випущений в наступному році, перевершує Rubin і планує запропонувати 432 ГБ ємності HBM4 з пропускною здатністю пам'яті до 19,6 ТБ/с.
Якщо подивитися на характеристики HBM4, то ця пам'ять розрахована на швидкість передачі даних 8 Гбіт/с з 2048-бітним входом-виходом, пропускною здатністю 2,0 ТБ/с на стек, ємністю 24 Гб на кристал для обсягу пам'яті до 36-48 ГБ і споживаною потужністю 75 Вт на стек. HBM4 використовує стандартне рідинне охолодження Direct-to-Chip (D2C) і спеціальний кристал на базі HBM (HBM-LPDDR).
HBM4e підіймає планку зі швидкістю передачі даних до 10 Гбіт/с з пропускною здатністю 2,5 ТБ/с на стек, ємністю до 32 Гб на кристал для обсягів пам'яті до 48/64 Гб на основі стеків 12-Hi і 16-Hi, а також потужністю до 80 Вт на кожен пакет HBM.
HBM5, схоже, зберігає швидкість передачі даних 8 Гбіт/с для варіанту Non-e, але збільшує кількість каналів вводу-виводу до 4096 біт. Пропускна здатність також збільшується до 4 ТБ/с на стек і буде постачатися з 16-Hi стеками в якості базової конфігурації. З кристалами DRAM 40 Гб HBM5 буде масштабуватися до ємності 80 ГБ на стек, а потужність на стек, як очікується, досягне 100 Вт.
Основні характеристики стандарту пам'яті HBM5:
Швидкість передачі даних: 8 Гбіт/с.
Кількість входів/виходів: 4096.
Загальна пропускна здатність: 4,0 ТБ/с.
Кількість стеків кристалів: 16-Hi.
Ємність одного кристала: 40 Гб.
Ємність одного HBM: 80 ГБ.
Потужність корпусу одного HBM: 100 Вт.
Метод упаковки: мікробампи (MR-MUF)
Метод охолодження: занурювальне охолодження, теплові перехідні отвори (TTV), термоскріплення
Спеціальний чіп розв'язки конденсатора
Спеціальний базовий кристал HBM з 3D NMC-HBM і багатошаровим кешем
LPDDR+CXL в базовому кристалі
Платформи NVIDIA Feynman і Instinct MI500
Очікується, що NVIDIA Feynman стане першим графічним процесором, що використовує стандарт пам'яті HBM5. Хоча NVIDIA вказала в своєму графіку випуск в 2028 році, судячи з циклів виробництва і постачання, дослідницька компанія, швидше за все, вибере більш реалістичний термін запуску цього рішення нового покоління в 2029 році.
Також виділяються цифри Feynman: це графічний процесор з кристалом площею 750 мм2 і потужністю 900 Вт на кристал, а флагманський чіп буде називатися F400. NVIDIA не показала жодних конкретних ілюстрацій самого чіпа, але дослідницька компанія вважає, що це пакет з чотирма графічними процесорами і 8 сайтами HBM5. Розміри цього пакета, за наявними даними, складають 4788 мм2 (85,22x56,2 мм). Весь графічний процесор повинен мати ємність HBM5 400-500 ГБ і буде пропонувати TDP 4400 Вт.
Зараз NVIDIA може піти далі з пропозицією Feynman Ultra, але вона не вказана в списку. У списку вказана конструкція після Feynman з HBM6. У HBM6 очікується подвоєння швидкості передачі даних до 16 Гбіт/с при використанні 4096-бітних каналів вводу-виводу.
Основні характеристики стандарту пам'яті HBM6:
Швидкість передачі даних: 16 Гбіт/с.
Кількість входів/виходів: 4096.
Загальна пропускна здатність: 8,0 ТБ/с.
Кількість стеків кристалів: 16/20-Hi.
Ємність одного кристала: 48 Гб.
Ємність одного HBM: 96/120 ГБ.
Потужність корпусу одного HBM: 120 Вт.
Метод упаковки: пряме з'єднання Cu-Cu без виступів
Метод охолодження: занурювальне охолодження
Настроювані багатовежеві HBM
Активний/гібридний (кремній+скло) інтерпозер
Мережевий комутатор + міст
Пропускна здатність подвоюється до 8 ТБ/с, і ми прагнемо до ємності 48 Гб на кристал DRAM. Ще одна велика зміна в порівнянні з HBM5 полягає в тому, що це буде перший випадок, коли з'явиться стекування HBM, що перевищує 16-Hi до 20-Hi, що збільшить ємність пам'яті до 96-120 ГБ на стек з потужністю 120 Вт на стек. Очікується, що як HBM5, так і HBM6 будуть оснащені рішеннями для занурювального охолодження, причому останній буде використовувати багатовежеву проміжну архітектуру HBM (активну/гібридну) і додаткові функції, такі як вбудований мережевий комутатор, міст і асиметричний TSV, які знаходяться в стадії дослідження.
За даними дослідницької компанії, цей тип пам'яті, як очікується, буде використовуватися в графічних процесорах нового покоління з розміром кристала 700 мм2 і потужністю 1000 Вт на чіп. Пакет буде містити 16 сайтів HBM6 на площі 6014 мм2 (102,8x58,5 мм) і буде пропонувати пропускну здатність 128-256 ТБ/с з об'ємом пам'яті 1536-1920 ГБ на чіп і загальною потужністю 5920 Вт. Очікуваний термін появи цієї технології — 2032 рік.
HBM6 стане головною новинкою на початку наступного десятиліття, а HBM7 і HBM8 — потужними інструментами, які виведуть стандарт на абсолютно новий рівень. HBM7 буде пропонувати швидкість 24 Гбіт/с на кожен стек і 8192 лінії вводу-виводу, що в два рази більше, ніж у HBM6. Збільшена швидкість передачі даних і можливості вводу-виводу підвищать пропускну здатність до 24 ТБ/с, що в 3 рази перевищує показники HBM6, а завдяки ємності 64 Гб на кожен кристал DRAM вийде ємність до 160-192 ГБ на стек завдяки стекам пам'яті 20-24-Hi. Кожен стек матиме потужність 160 Вт.
Основні характеристики стандарту пам'яті HBM7:
Швидкість передачі даних: 24 Гбіт/с.
Кількість входів/виходів: 8192.
Загальна пропускна здатність: 24,0 ТБ/с.
Кількість стеків кристалів: 20/24-Hi.
Ємність одного кристала: 64 Гб.
Ємність одного HBM: 160/192 ГБ.
Потужність корпусу на HBM: 160 Вт
Метод упаковки: пряме з'єднання Cu-Cu без виступів
Метод охолодження: вбудоване охолодження
Гібридна архітектура HBM
HBM-HBF
HBM-LPDDR
Буферні кристали в стеку HBM
Збірка кристалів для HBM6, HBM7 і HBM8 буде здійснюватися за допомогою прямого з'єднання Cu-Cu без виступів, а HBM7/HBM8 будуть використовувати вбудовані рішення для охолодження. HBM7 також представить абсолютно нову архітектуру HBM-HBF і HBM-3D LPDDR.
Очікується, що рішення наступного покоління на основі пам'яті HBM7 будуть надвеликими і багаточиповими, з одним пакетом, що пропонує 8 GPU-майданчиків, кожен з яких, як стверджується, буде мати розмір 600 мм2 і споживати до 1200 Вт енергії, тоді як 32 майданчики HBM7 будуть пропонувати пропускну здатність 1024 ТБ/с, що зробить їх першим рішенням з пропускною здатністю класу петабайт. Чіп також повинен мати величезний обсяг пам'яті до 5120-6144 ГБ, в залежності від висоти HBM, а загальна потужність, як очікується, складе 15360 Вт, що майже в 3 рази більше, ніж у рішень на базі HBM6.
Основні характеристики стандарту пам'яті HBM8:
Швидкість передачі даних: 32 Гбіт/с.
Кількість входів/виходів: 16384.
Загальна пропускна здатність: 64 ТБ/с.
Кількість шарів кристалів: 20/24-Hi.
Ємність одного кристала: 80 Гб.
Ємність одного HBM: 200/240 ГБ.
Потужність корпусу одного HBM: 180 Вт.
Метод упаковки: пряме з'єднання Cu-Cu без виступів.
Метод охолодження: вбудоване охолодження.
Коаксіальний TSV / Full-3D GPU-HBM.
Обчислення на базі HBM.
Повна мережа пам'яті
Двосторонній інтерпозер
Що стосується HBM8, стандарт пам'яті з'явиться тільки в 2038 році, але очікувані характеристики містять швидкість передачі даних 32 Гбіт/с і подвоєння кількості каналів вводу-виводу до 16384. Рішення для пам'яті буде пропонувати пропускну здатність 64 ТБ/с на стек, а з ємністю 80 Гб на DRAM ми побачимо ємність пам'яті до 200/240 ГБ і потужність пакета на сайт HBM до 180 Вт.
Варто також відзначити архітектуру HBF (High-Bandwidth Flash), розроблену для задоволення потреб пам'ять-інтенсивного LLM-виводу. З HBF замість стандартної пам'яті DRAM виробники використовують NAND, до 128 шарів, пропонуючи більш високу ємність в стеку 16-Hi, який з'єднаний за допомогою рішення HBF TSV.
Кожен стек HBF підключається паралельно до стеку HBM і може додатково забезпечити ємність до 1 ТБ, а також використовує швидке з'єднання HBM-HBF зі швидкістю 2 ТБ/с, яке зв'язується з іншими компонентами на материнській платі за допомогою двонаправленого з'єднання зі швидкістю 128 ГБ/с, що проходить через мережевий комутатор пам'яті.
З HBM7 цей стек на основі NAND був додатково модернізований і підключений до скляного інтерпозера за допомогою з'єднання, що забезпечує швидкість передачі даних 4096 ГБ/с. Рішення LPDDR ємністю до 384 ГБ працює в поєднанні зі стеком HBM ємністю 192 ГБ.
Стеки HBM також будуть масштабуватися до конструкцій 24-Hi з HBM7 і HBM8 в корпусі з високою пропускною здатністю і двома вежами.
З появою скляних кремнієвих інтерпозерів дослідницька компанія підкреслює використання вбудованого охолодження в якості стандартного підходу, який буде проходити через інтерпозер і забезпечувати пряме охолодження HBM, HBF і GPU IP.
| 0 |
|
