| 0 |
|
Компанія EnCharge AI заявила, що її високоефективні AI-прискорювачі для клієнтських обчислювальних пристроїв після більш ніж восьми років розробки практично готові до виходу.
Стартап, який залучив понад 144 млн дол. від безлічі спонсорів, зокрема Tiger Global, Maverick Silicon і Samsung Ventures, поділився деталями свого нового потужного чипа EnCharge EN100. Він оснащений новою «пам'яттю на основі заряду», яка споживає у 20 разів менше енергії, ніж традиційні графічні процесори.
За заявою EnCharge, EN100 може забезпечити понад 200 TOPS обчислювальної потужності в межах обмежень клієнтських платформ, як-от ноутбуки та робочі станції, усуваючи необхідність у хмарних обчисленнях AI.
До сьогодні найпотужніші великі мовні моделі, що використовуються в складних мультимодальних і AI-міркуваннях, вимагали такої великої обчислювальної потужності, що їх доцільно було запускати тільки в хмарі. Однак хмарні платформи обходяться недешево, як за вартістю, так і за затримками та безпекою, що робить їх непридатними для багатьох типів додатків.
EnCharge вважає, що може змінити цю ситуацію за допомогою EN100, оскільки чіп дає змогу робити виводи на пристрої, що є значно потужнішим, ніж раніше. Компанія, заснована командою докторів технічних наук та інкубована в Принстонському університеті, створила потужні аналогові чіпи для обчислень у пам'яті, які значно знижують вимоги до енергії для багатьох робочих навантажень AI. Технологія заснована на високопрограмованій прикладній інтегральній схемі з новим підходом до управління пам'яттю.
Головна інновація полягає в тому, що в EN100 використовується технологія, яка відрізняється від традиційної конструкції пам'яті тим, що зчитує дані з електричного струму на площині пам'яті, на відміну від зчитування з окремих бітових комірок. Такий підхід дає змогу використовувати точніші конденсатори, а не менш точні напівпровідники. У результаті він дає змогу домогтися величезного підвищення ефективності під час виконання операцій зменшення даних, що включають множення матриць.
По суті, замість того щоб передавати окремі біти та байти, чип EN100 просто передає результат своїх обчислень.
«Ви можете зробити це, склавши струми всіх бітових комірок, але це галасливо і брудно, - сказав співзасновник і виконавчий директор EnCharge Навін Верма (Naveen Verma). А можна робити накопичення за допомогою заряду. Це дає змогу перейти від напівпровідників до дуже надійних і масштабованих конденсаторів. Тепер ця операція може бути виконана дуже точно».
Це не тільки означає, що EN100 споживає набагато менше енергії, ніж традиційні GPU, а й робить чіпи надзвичайно універсальними. Вони можуть бути оптимізовані як для підвищення ефективності, так і для підвищення продуктивності або вірогідності.
Ба більше, EN100 випускається в мініатюрному формфакторі, встановлюється на PCIe-карти, тому їх можна легко під'єднати до будь-якого ноутбука або персонального комп'ютера. Їх також можна використовувати в тандемі з хмарними GPU.
За словами EnCharge, EN100 випускається у двох варіантах. Модель M.2, призначена для ноутбуків, пропонує до 200 TOPS за споживаної потужності 8,25 Вт, що відкриває шлях для високопродуктивних додатків AI на пристроях із живленням від батареї.
Також є EN100 PCIe для робочих станцій, який оснащений чотирма нейронними процесорами, що забезпечують обчислювальну потужність до 1 petaOPS, що відповідає продуктивності найпередовіших GPU Nvidia. За словами EnCharge, вона призначена для «професійних додатків AI», що використовують більш просунуті LLM і великі масиви даних.
Компанія заявила, що обидва формфактори здатні впоратися з генеративними чат-ботами AI, комп'ютерним зором у реальному часі та завданнями зі створення зображень, які раніше були б можливими тільки в хмарі.
За словами Верми, запуск EN100 знаменує собою фундаментальне зрушення в архітектурі обчислень AI. «Це означає, що передовий, безпечний і персоналізований AI може працювати локально, не спираючись на хмарну інфраструктуру», - сказав він. «Ми сподіваємося, що це радикально розширить можливості AI».
Разом із чипом EnCharge пропонує розробникам повний набір програмного забезпечення для оптимізації, яку вони вважають необхідною, щоб збільшити його обчислювальну потужність або зосередитися на підвищенні ефективності, залежно від того, який застосунок вони мають на увазі.
EnCharge заявила, що перший раунд програми раннього доступу до EN100 вже заповнений, але вона запрошує розробників підписатися на другий раунд, який почнеться найближчим часом.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
