IBM робить ставку на Groq у розвитку корпоративного АІ

Компанії IBM та Groq офіційно оголосили про стратегічне партнерство, спрямоване на значне прискорення впровадження агентного штучного Інтелекту у великих корпораціях. 

Як зазначається, оголошена співпраця забезпечить клієнтам IBM негайний доступ до високошвидкісної технології висновку (inference) GroqCloud через платформу IBM watsonx Orchestrate.

Це партнерство покликане подолати основні проблеми, з якими стикаються підприємства при переведенні АІ-агентів з пілотних проєктів у виробництво, а саме: швидкість, вартість та надійність у місійно-критичних секторах (охорона здоров'я, фінанси, державний сектор).

В основі співпраці лежить архітектура LPU (Language Processing Unit) від Groq, яка, за даними компанії, забезпечує у 5 разів швидший та економічніший висновок порівняно з традиційними GPU-системами. Ця швидкість гарантує стабільно низьку затримку та надійну продуктивність навіть при глобальному масштабуванні навантажень, що є критично важливим для агентного АІ в регульованих галузях.

Як приклад, наведено кейс із медичної сфери: завдяки технології Groq, АІ-агенти IBM можуть аналізувати тисячі складних запитань пацієнтів у режимі реального часу та негайно надавати точні відповіді, покращуючи клієнтський досвід.

"Багато великих організацій мають вибір щодо висновку АІ під час експериментів, але коли вони переходять до виробництва, вони повинні забезпечити успішне розгортання складних робочих процесів", — зазначив Роб Томас (Rob Thomas), старший віцепрезидент IBM з програмного забезпечення та головний комерційний директор.

СЕО та засновник Groq Джонатан Росс (Jonathan Ross) підкреслив: "Зі швидкістю Groq та корпоративним досвідом IBM ми робимо агенний АІ реальністю для бізнесу. Разом ми даємо організаціям змогу розкрити весь потенціал відповідей, керованих АІ, з продуктивністю, необхідною для масштабування".

У рамках партнерства заплановано провести інтеграцію технології Red Hat open source vLLM з архітектурою LPU від Groq, що надасть розробникам нові підходи до вирішення проблем інференсу. Також у планах забезпечення підтримки моделей IBM Granite на GroqCloud для клієнтів IBM.

IBM негайно розпочинає пропонувати доступ до можливостей GroqCloud, зосереджуючись на рішеннях, які забезпечують високу швидкість, безпеку та конфіденційність при розгортанні АІ для таких завдань, як обслуговування клієнтів та підтримка співробітників.

Стратегія охолодження ЦОД для епохи AI