FuriosaAI представила енергоефективний AI-процесор

Компанія FuriosaAI з Південної Кореї представила на виставці Hot Chips 2024 свій прискорювач RNGD (він же Renegade) для обчислень у центрах обробки даних, заявивши, що його енергоефективність вища, ніж в AI-рішень на базі GPU.

Прискорювач описується як процесор тензорних скорочень, який виконує високопродуктивні великі мовні моделі (LLM) і мультимодальний вивід моделей.

Чип виконаний за 5-нм техпроцесом TSMC та розрахований на роботу на тактовій частоті 1,0 ГГц. При цьому продуктивність становить 256 TFLOPS при типі даних BF16, 512 TFLOPS при FP8 та 512 TOPs при типі даних INT8. RNGD має 256 МБ SRAM на кристалі та може бути підключений до 48 ГБ зовнішньої пам'яті HBM3 DRAM. Пропускна здатність чіпа становить 1,5 ТБ/с.

RNGD був протестований для роботи з великими мовними моделями, такими як GPT-J і Llama 3.1. За словами компанії, одна PCIe-карта RNGD забезпечує пропускну спроможність від 2000 до 3000 токенів на секунду (залежно від довжини контексту) для моделей із приблизно 10 млрд параметрів. Подальше поліпшення очікується завдяки оптимізації компілятора програмного забезпечення.

Тепловий розрахунковий профіль (TDP) PCIe-карти RNGD становить 150 Вт, порівняно з більш ніж кіловатом, необхідним для рішень на базі GPU, повідомляє компанія.

«RNGD - це стійке та доступне рішення для обчислень на основі AI, яке відповідає реальним потребам індустрії у висновках», - сказав Джун Пек (June Paik), співзасновник і генеральний директор FuriosaAI.

«Рішення Furiosa RNGD AI Inference сприяє впровадженню «зелених» обчислень у компанії Supermicro. Завдяки інтеграції технології Furiosa системи Supermicro можуть знизити енергоспоживання на одну картку, забезпечуючи водночас виняткову продуктивність обчислень», - сказав у тій самій заяві Вік Маляла (Vik Malyala), старший віцепрезидент із технологій і штучного інтелекту компанії Supermicro.

Наразі чип поставляється замовникам раннього доступу, а більш широка доступність очікується на початку 2025 року.

Про DCIM у забезпеченні успішної роботи ІТ-директора