| 0 |
|
Компанія Neuchips оголосила про плани представити на виставці CES 2024 чіп прискорювача Raptor Gen AI (колишня назва N3000) і LLM-рішення для карт-прискорювачів Evo PCIe. Raptor, нове рішення на чіпі, дає змогу підприємствам розгорнути великі мовні моделі (LLM) для формування висновків за частку вартості наявних рішень.
"Ми дуже раді представити наш чіп Raptor і карту Evo на виставці CES 2024", - сказав Кен Лау, генеральний директор Neuchips. "Рішення Neuchips являють собою величезний стрибок у співвідношенні ціни та продуктивності для обробки природної мови. Завдяки Neuchips будь-яка організація тепер може отримати доступ до потужності LLM для широкого спектра AI-додатків".
Зазначається, що разом Raptor і Evo являють собою оптимізований стек, який робить провідні на ринку LLM легкодоступними для підприємств. AI-рішення Neuchips значно знижують вартість апаратного забезпечення порівняно з наявними рішеннями. Висока енергоефективність також мінімізує споживання електроенергії, що ще більше знижує сукупну вартість володіння.
На виставці CES 2024 компанія Neuchips продемонструє Raptor і Evo, що прискорюють роботу AI-чатботів Whisper і Llama в додатку Personal AI Assistant. Це рішення демонструє можливості LLM-інференсу для реальних бізнес-потреб.
Чип Raptor забезпечує до 200 тера операцій на секунду (TOPS). Його видатна продуктивність при виконанні таких операцій штучного інтелекту, як множення матриць, вектор і пошук таблиць вбудовування, підходить для моделей штучного інтелекту Gen-AI. Рекордна пропускна здатність досягається завдяки запатентованим Neuchips оптимізаціям стиснення та ефективності, спеціально розробленим для нейронних мереж.
Доповненням до Raptor є PCIe-карта прискорення Evo від Neuchips з ультранизьким енергоспоживанням. Evo поєднує в собі PCIe Gen 5 з вісьмома доріжками та LPDDR5 32 ГБ, що дає змогу досягти пропускної спроможності хоста введення-виведення 64 ГБ/с і пропускної спроможності пам'яті 1,6 Тбіт/с за споживання 55 Вт на карту.
Повідомляється, що Evo також має 100-відсоткову масштабованість, даючи змогу замовникам лінійно збільшувати продуктивність шляхом додавання нових чипів. Така модульна конструкція забезпечує захист інвестицій для майбутніх робочих AI-навантажень.
Прийдешній продукт формфактора "напіввисота-напівдовжина" (HHHL), Viper, запуск якого намічено на другу половину 2024 року, забезпечить ще більшу гнучкість розгортання. Нова серія пропонує прискорення AI класу центру обробки даних у компактному корпусі.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
