Groq дає змогу отримувати моментальні відповіді AI

Компанія Groq провела днями дивовижні демонстрації своєї платформи штучного інтелекту, продуктивність якої дає можливість отримувати відповіді без будь-яких помітних затримок.

Примітно, що в одному з демо відповіді Groq на поставлені цій AI-платформі запитання налічують сотні слів і містять посилання на джерела. Друге демо містило голосовий діалог, у якому не відчувалася неприродність, притаманна нині широко поширеним AI-платформам.

За словами глави Groq Джонатана Росса (Jonathon Ross), ключовою відмінністю розробленої його компанією AI-платформи є використання спеціалізованих чіпів Language Processing Units (LPU), які в AI-завданнях значно продуктивніші за топові GPU Nvidia. Джонатан Росс назвав ці чіпи "inference engine". За підсумками незалежного тестування, проведеного Artificial Analysis, продуктивність LPU Groq досягла 247 токенів на секунду. Для порівняння AI-платформа Microsoft забезпечує 18 токенів на секунду. Тож якщо запустити на апаратній платформі Groq чат-бот ChatGPT, він прискориться в 13 разів.

Як зазначив Джонатан Росс, у Groq вдалося обійти два вузьких місця великих мовних моделей, на яких зациклюються GPU і CPU: щільність обчислень і пропускна здатність пам'яті.

Невже настав час, коли штучний інтелект почне фліртувати?

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365