Intel презентувала новий чіп штучного інтелекту Gaudi 3

Intel представила новий чіп штучного інтелекту Gaudi 3 на щорічній конференції Intel Vision 2024.

Gaudi 3 - це третя ітерація серії процесорів на платформі, яку Intel отримала завдяки придбанню стартапу за 2 мільярди доларів у 2019 році.

У порівнянні зі своїм попередником, новий чіп обіцяє забезпечити в чотири рази вищу продуктивність при обробці даних у форматі BF16, який широко використовується в додатках зі штучним інтелектом. Він також має більшу пропускну здатність мережі, а це означає, що чіпи Gaudi 3, розгорнуті в одному AI-кластері, можуть швидше обмінюватися даними з іншим.

Чіп виконує обчислення за допомогою двох наборів вбудованих ядер. Перший тип ядер, TPC, оптимізований для прискорення декількох типів обчислень, які моделі глибокого навчання зазвичай виконують під час обробки даних. Ці обчислення включають пакетну нормалізацію - операцію, яка прискорює роботу моделей глибинного навчання, перетворюючи вхідні дані, які вони отримують, у більш впорядковану форму.

Gaudi 3 також включає так звані ядра MME. Ці ядра також призначені для прискорення обчислень, які моделі ШІ використовують для обробки даних, але вони зосереджені на іншому наборі обчислень, ніж ядра TPC. Одне із завдань, яке MME-схеми можуть прискорити, - це процес запуску згорткових шарів, які є програмними будівельними блоками, що часто зустрічаються в моделях розпізнавання зображень.

Gaudi 3 має 64 ядра TPC і вісім ядер MME, розподілених між двома матрицями, або напівпровідниковими модулями. Ці модулі з'єднані між собою таким чином, що дозволяють їм функціонувати як єдиний чіп. Вони підтримуються 128 гігабайтами вбудованої пам'яті HBM2e, типом високошвидкісної оперативної пам'яті, яка дозволяє моделям ШІ швидко отримувати доступ до даних, необхідних для обчислень.

За заявою Intel, у порівнянні з Nvidia H100, Intel Gaudi 3 в середньому на 50% прискорює час навчання в моделях Llama2 з 7 млрд та 13 млрд параметрів, а також в моделі GPT-3 зі 175 млрд параметрів. Крім того, прогнозується, що продуктивність прискорювача виводу Intel Gaudi 3 перевершує H100 в середньому на 50% і на 40% за енергоефективністю виводу в середньому в моделях Llama з 7 млрд і 70 млрд параметрів, а також Falcon зі 180 млрд параметрів.  

Intel створила чіп Gaudi попереднього покоління, використовуючи 7-нанометровий техпроцес TSMC. У Gaudi 3 компанія перейшла на новіший 5-нанометровий техпроцес, який дозволяє виробляти швидші та енергоефективніші транзистори.

Intel Gaudi 3 буде доступний для OEM-виробників, включаючи Dell Technologies, Hewlett Packard Enterprise, Lenovo і Supermicro, у другому кварталі 2024 року.