Micron представляє перший у світі модуль 256GB SOCAMM2 для дата-центрів

Компанія Micron Technology оголосила про початок постачань зразків найємнішого у галузі модуля пам’яті LPDRAM — 256GB SOCAMM2. Це рішення, побудоване на базі першого в індустрії монолітного 32-гігабітного кристала LPDDR5X, обіцяє змінити архітектуру серверів для AI та високопродуктивних обчислень (HPC).

Ця розробка стала результатом тісної співпраці з NVIDIA, щоб задовольнити апетити інфраструктури AI наступного покоління.

Сучасні AI-навантаження (навчання, виведення та агентний AI) потребують величезних контекстних вікон та постійного кешування (KV cache). Традиційна пам'ять часто стає «вузьким місцем» через енергоспоживання та обмежену щільність.

SOCAMM2 (Server Compression Attached Memory Module) розв'язує ці проблеми, пропонуючи поєднання низького енергоспоживання LPDRAM та модульності серверного рівня.

Новий модуль від Micron пропонує радикальне покращення за всіма критичними показниками.

Рекордна місткість: на третину більше пам'яті, ніж у попередніх модулів (192 ГБ). Це дозволяє встановлювати до 2 ТБ LPDRAM на один 8-канальний процесор.

Споживає лише 1/3 енергії порівняно з еквівалентними модулями RDIMM.

Займає лише 1/3 площі відносно традиційних рішень, що підвищує щільність стійок у дата-центрах.

У сценаріях реального часу (LLM) час до видачі першого токена (time to first token) скорочується у 2,3 раза завдяки ефективному вивантаженню кешу.

У три рази вища ефективність для автономних обчислень на базі CPU порівняно зі стандартними модулями.

«Micron 256GB SOCAMM2 — це найбільш енергоефективне рішення для пам'яті, що підключається безпосередньо до CPU. Це найменший за розміром і найпотужніший за місткістю модульний продукт в індустрії», — заявив Радж Нарасімхан (Raj Narasimhan), віцепрезидент Micron.

Ян Файндер (Ian Finder), керівник відділу продуктів для серверних CPU у NVIDIA, підкреслив важливість розробки: «Досягнення Micron у забезпеченні величезної місткості та пропускної здатності при меншому енергоспоживанні є ключовим фактором для створення наступного покоління AI-процесорів».

Micron відіграє провідну роль у визначенні специфікацій JEDEC для SOCAMM2. Модульна конструкція не лише полегшує обслуговування серверів, але й підходить для сучасних систем із рідинним охолодженням.

Наразі компанія пропонує найширший портфель LPDRAM для ЦОД: від окремих компонентів на 8 ГБ до масивних модулів на 256 ГБ.

Стратегія охолодження ЦОД для епохи AI