Akamai і Neural Magic об'єдналися для прискорення AI-навантажень на граничних серверах

Компанія Akamai Technologies оголосила про співпрацю з NeuralMagic, що спеціалізується на розробці програмного забезпечення для прискорення роботи штучного інтелекту, з метою розширення можливостей своєї платформи хмарної інфраструктури з обробки AI.

Заявлено, що компанія має намір "посилити" свої можливості глибокого навчання завдяки використанню унікального програмного забезпечення Neural Magic, яке дає змогу ефективніше виконувати робочі AI-навантаження на традиційних серверах на базі центральних процесорів, на відміну від більш сучасного обладнання на базі графічних процесорів.

Компанія Neural Magic отримала статус Akamai Qualified Computing Partner, що означає, що її ПЗ буде доступне безпосередньо на високорозподіленій платформі хмарної інфраструктури Akamai.

Програмне забезпечення Neural Magic дає змогу розробникам запускати моделі глибокого навчання на економічних CPU-серверах із продуктивністю, що практично не поступається продуктивності моделей на набагато дорожчих і важкодоступних GPU-серверах. Програмне забезпечення досягає цього завдяки прискоренню робочих навантажень AI за допомогою автоматизованих методів спарсифікації моделей, які стають доступними як рушій висновків для CPU.

Це означає, що тепер є можливість розгорнути передові, високопродуктивні робочі навантаження AI в розподіленій інфраструктурі хмарних обчислень Akamai, яка забезпечує одні з найнижчих затримок у бізнесі для хмарних застосунків.

Компанія Akamai прославилася як постачальник CDN, що дає змогу організаціям розміщувати свій контент у сотнях глобально розподілених "граничних" точок і забезпечувати його швидке доставлення. У 2022 році компанія перейшла у сферу хмарних обчислень, придбавши Linode за 900 млн дол.


Після цього придбання Akamai анонсувала свою інфраструктурну платформу Connected Cloud, призначену для невеликих компаній та індивідуальних розробників, заявивши, що вона є найпоширенішою платформою хмарної інфраструктури в галузі. Заява Akamai ґрунтується на тому, що вона може використовувати свою глобальну мережу CDN для розміщення своєї хмарної інфраструктури в сотнях різних точок у всьому світі, що дає їй ще ширше охоплення, ніж у традиційних хмарних провайдерів, таких як Amazon Web Services і Microsoft Azure.

Відтоді компанія розширила свої можливості, запустивши в лютому ініціативу під назвою Gecko (Generalized Edge Compute). Вона розширює можливості обчислень і зберігання даних до кордонів мережі, даючи змогу надавати ще більш чуйні робочі навантаження з одними з найнижчих затримок.

Джон О'Хара, старший віцепрезидент Neural Magic з технічних питань і головний операційний директор, каже, що ефективне доставлення моделей штучного інтелекту на кордон мережі набагато складніше, ніж багато хто думає. Однак саме цим і займаються дві компанії, пояснив він. "Спеціалізоване або дороге обладнання та пов'язані з ним вимоги до живлення і доставлення не завжди доступні або здійсненні", - сказав він, що означає, що багато організацій були змушені упускати переваги використання висновків AI на кордоні мережі.

Компанія Akamai заявила, що партнерство з Neural Magic покликане змінити цю ситуацію і дає їй ще одну перевагу: зусилля її традиційних конкурентів у галузі хмарної інфраструктури в галузі AI в основному зосереджені на серверах на базі GPU, які мають великий попит у клієнтів і тому неймовірно дорогі.

Сервери на базі лише CPU набагато доступніші, а програмне забезпечення Neural Magic, імовірно, зробить їх більш вигідною пропозицією для різних додатків AI. За словами компанії, ця комбінація особливо добре підходить для AI-додатків, яким необхідно обробляти дані, що генеруються на кордоні мережі, оскільки її розподілена інфраструктура підходить для цього.

Головний стратег Akamai Раманат Айер сказав, що компанія має намір зробити AI розумнішим і швидшим, не відчуваючи нестачі в наростальних витратах, пов'язаних з інфраструктурами на базі GPU. "Масштабування можливостей Neural Magic із запуску моделей глибокого навчання в Akamai дає організаціям доступ до такого необхідного зниження витрат і підвищення продуктивності", - сказав він.

На думку Хольгера Мюллера з Constellation Research, оголошення про партнерство можна розглядати як ознаку того, що перехід Akamai на пропозицію хмарної інфраструктури на кордоні приносить свої плоди. "Вона зміцнює свою платформу, пропонуючи клієнтам більш просунуті прикордонні можливості для штучного інтелекту, і це буде привабливо", - сказав він. "Для клієнтів це чудова новина, тому що в майбутньому у них, найімовірніше, буде великий вибір у плані прикордонної інфраструктури AI. Однак Akamai прийшла до цього раніше, і зараз саме час стати одним з її клієнтів".