CXL допоможе нарощувати можливості ШІ

Компанія Samsung Electronics анонсувала розробки, які мають значно прискорити обробку великих обсягів даних у завданнях на базі технології штучного інтелекту. Запропоновані Samsung методи такого прискорення включають обробку в пам'яті (PIM, Processing-in-Memory) і обробку поруч із пам'яттю (PNM, Processing-near-Memory).

У системах без PIM процесор викликає дані з пам'яті, виконує з ними команди і зберігає результати у пам'ять (сховище пам'яті). Це вимагає переміщення великих обсягів даних туди і назад, на яке витрачається значно більше енергії, ніж на виконання обробки даних. PIM оптимізує цей процес, скорочуючи переміщення даних між процесором та пам'яттю, підвищуючи продуктивність та енергоефективність системи прискорювача ШІ. У тих випадках, коли для використання потрібно пам'ять з високою пропускною здатністю, легко зрозуміти, чому застосування HBM-PIM на практиці є відмінним рішенням.

У співпраці з AMD компанія Samsung Electronics встановила пам'ять HBM-PIM на прискорювач AMD Instinct Mi100. А на його основі було створено кластер HBM-PIM, який застосували у різних великомасштабних додатках для штучного інтелекту та високопродуктивних обчислень (HPC). Порівнявши це рішення з наявними прискорювачами GPU, тестування підтвердило, що в середньому додавання HBM-PIM підвищує продуктивність більш ніж у два рази, а енергоспоживання знижується більш ніж на 50%.

За оцінкою Samsung, якщо мовна модель великої ємності, запропонована Google, навчатиметься на кластері, що складається з 8 прискорювачів, використання прискорювача GPU, оснащеного HBM-PIM, може заощадити 2100 ГВт*год енергії на рік. Крім того, завдяки інтеграції програмного забезпечення, сполучення наявних у продажу графічних процесорів з HBM-PIM допоможе позбавитися вузького місця, викликаного обмеженням обсягу пам'яті та пропускної спроможності в центрах обробки даних із застосуванням гіперскалярного штучного інтелекту.

За заявою Samsung, компанія підготувала програмне забезпечення з використанням відкритого програмного стандарту SYCL для визначення специфікацій, які можуть використовувати прискорювачі GPU. Це програмне забезпечення дозволяє використовувати рішення на базі PIM в інтегрованому програмному середовищі.

"Codeplay пишається тим, що брала активну участь у визначенні стандарту SYCL і відіграла свою роль у створенні першого відповідного продукту", - сказав Чарльз Макфарлейн, директор з бізнесу компанії Codeplay Software та відповідальний за спільну роботу над стандартизацією SYCL. "Наша робота з Samsung щодо спрощення розробки програмного забезпечення за допомогою PIM-систем Samsung відкриває перед вченими набагато ширшу екосистему інструментів, дозволяючи їм зосередитися на розробці алгоритмів, а не на деталях апаратного рівня".

PNM, як і PIM, - це технологія, що поєднує пам'ять та логічні мікросхеми в удосконалений пакет інтегральних схем, що скорочує переміщення даних між ЦП та пам'яттю, використовуючи пам'ять для обчислення даних. У випадку PNM, як випливає з назви, функції обчислення виконуються ближче до пам'яті, щоб зменшити вузьке місце між ЦП і пам'яттю при передачі даних. Допомогти у вирішенні цього завдання покликаний інтерфейс CXL.

Першу в галузі технологію PNM на основі інтерфейсу CXL від Samsung було представлено на початку жовтня на Memory Tech Day. У ході тестування було підтверджено, що рішення PNM на основі інтерфейсу CXL більш ніж удвічі підвищують продуктивність таких додатків, як рекомендаційні системи або бази даних in-memory, що вимагають високої пропускної здатності пам'яті.

Використовувані в моделях ШІ дані поділяють на два типи: щільні та розріджені відповідно до їх характеристик. Щільні дані виникають, коли співвідношення віродостойних даних є високо всередині всього кластера даних і, таким чином, вони щільні і пов'язані, а розріджені дані мають низьке співвідношення віродостойних даних. Додатки ШІ, такі як автономне керування та розпізнавання голосу, належать до категорії щільних даних, а алгоритми рекомендацій на основі користувача (рекомендація друзів у Facebook) є прикладами розріджених даних. Для кожної моделі потрібні специфічні рішення щодо використання пам'яті, що відповідають додатку.

Дослідники застосували технологію PIM для моделей ШІ, заснованих на щільних даних, та технологію PNM для моделей ШІ, заснованих на розріджених даних, щоб задовольнити різноманітні потреби клієнтів. Вони розраховують, що завдяки інтеграції новітніх технологій PIM та PNM вдасться запропонувати стійкі рішення в галузі пам'яті, які відповідатимуть як потребам нинішніх клієнтів сьогодні, так і їхнім потребам у майбутньому, оскільки обчислення на основі ШІ стають все більш вимогливими.

"Технологія HBM-PIM Cluster є першим у галузі спеціалізованим рішенням пам'яті для великомасштабного штучного інтелекту", - сказав Чеолмін Парк (Cheolmin Park), керівник групи планування нового бізнесу в підрозділі пам'яті Samsung Electronics, - "Інтегруючи рішення CXL-PNM з HBM-PIM через всеосяжний процес стандартизації програмного забезпечення, ми можемо запропонувати новий стандарт високоефективних, високопродуктивних рішень пам'яті, які можуть сприяти екологічно раціональному управлінню даними шляхом скорочення та оптимізації переміщення величезних обсягів даних, необхідних для додатків ШІ".

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365