| 0 |
|
Компанія Micron Technology оголосила про початок продажів першої в галузі пам'яті HBM3 Gen2 об'ємом 24 ГБ з пропускною здатністю понад 1,2 ТБ/с і швидкістю виведення більш як 9,2 Гбіт/с, що на 50% вище, ніж у рішень, що постачаються тепер. HBM3. Завдяки збільшенню показника продуктивності на ват у 2,5 раза в порівнянні з попередніми поколіннями, пам'ять HBM3 Gen2 від Micron встановлює нові рекорди за такими найважливішими показниками центрів обробки даних штучного інтелекту (ШІ), як продуктивність, місткість та енергоефективність. Ці вдосконалення дозволяють скоротити час навчання великих мовних моделей типу GPT-4 та вище, ефективно використовувати інфраструктуру для висновків ШІ та забезпечити вищу сукупну вартість володіння (TCO).
Основою рішення Micron для пам'яті з високою пропускною здатністю (HBM) є її технологічний вузол 1β (1-beta) DRAM, який дозволяє збирати матрицю DRAM місткістю 24 Гбіт у куб висотою 8 рівнів у стандартному для галузі розмірі упакування. Крім того, у першому кварталі календарного 2024 року розпочнеться продаж 12-рівневого стека пам'яті місткістю 36 ГБ. При заданій висоті стека Micron забезпечує на 50% більшу місткість, порівняно з наявними конкурентними рішеннями. Поліпшення співвідношення продуктивності та енергоспоживання HBM3 Gen2, а також швидкості висновків, які пропонує компанія Micron, має вирішальне значення для управління екстремальними вимогами до енергоспоживання в сучасних центрах обробки даних зі штучним інтелектом. Підвищення енергоефективності стало можливим завдяки таким досягненням компанії Micron, як подвоєння кількості наскрізних кремнієвих отворів (TSV) порівняно з конкурентними рішеннями HBM3, зниження теплового опору внаслідок збільшення п'ятикратної щільності металу та енергоефективна конструкція тракту передачі даних.
Заявлено, що TSMC отримала зразки пам'яті HBM3 Gen2 компанії Micron і тісно співпрацює з нею для подальшої оцінки та тестування, що сприятиме інноваціям замовників для HPC нового покоління.
Рішення Micron HBM3 Gen2 відповідає наростальним вимогам у світі генеративного ШІ до мультимодальних моделей ШІ з кількома трильйонами параметрів. Завдяки місткості 24 Гбайт на куб і швидкості виведення понад 9,2 Гбіт/с, навчання великих мовних моделей скорочується більш ніж на 30%, що призводить до зниження сукупної вартості володіння. Крім того, пропозиція Micron дозволяє значно збільшити кількість запитів на день, що дає можливість ефективніше використовувати навчені моделі. Найкраща у своєму класі продуктивність пам'яті Micron HBM3 Gen2 на ват забезпечує відчутне зниження витрат для сучасних центрів обробки даних ШІ. При установці 10 млн графічних процесорів кожні п'ять ватів економії електроенергії на куб HBM, за оцінками Micron, дозволяють скоротити операційні витрати на суму до 550 млн дол. протягом п'яти років.
"Технологія HBM3 Gen2 була розроблена компанією Micron з метою створення чудових рішень у галузі штучного інтелекту та високопродуктивних обчислень для наших клієнтів і всієї галузі", - сказав Правін Вайдьянатан, віцепрезидент і генеральний менеджер групи обчислювальних продуктів Micron. "Одним із важливих критеріїв для нас була простота інтеграції нашого продукту HBM3 Gen2 у платформи замовників. Повністю програмований вбудований автотест пам'яті (MBIST), який може працювати на повній швидкості виведення специфікації, дозволяє нам покращити можливості тестування із замовниками, створити ефективнішу спільну роботу та прискорити вихід на ринок”.
"В основі генеративного ШІ лежать прискорені обчислення, які виграють від високої пропускної здатності HBM та енергоефективності", - сказав Ян Бак (Ian Buck), віцепрезидент з гіпермасштабних та високопродуктивних обчислень у NVIDIA. "Ми давно співпрацюємо з Micron по широкому спектру продуктів та із задоволенням працюємо з нею над HBM3 Gen2 для прискорення інновацій в галузі AI".
Нагадаємо, раніше Micron вже анонсувала монолітні модулі DDR5 об'ємом 96 ГБ на базі матриці 1α (1-alpha) 24 ГБ DRAM для серверних рішень з високою пропускною здатністю, а сьогодні представила пропозицію 1β 24 ГБ на базі матриці 24 ГБ HBM3. У першій половині календарного 2024 компанія планує випустити модулі DDR5 місткістю 128 ГБ на основі монолітної пам'яті DRAM об'ємом 32 ГБ.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
