Red Hat придбає Neural Magic, стартап з оптимізації АІ

Компанія Red Hat оголосила про придбання Neural Magic, стартапу в галузі машинного навчання, який оптимізує моделі штучного інтелекту для запуску на будь-якому доступному обладнанні, включаючи мікропроцесори або графічні процесори.

 

Великі мовні моделі АІ зростають у розмірі та складності, що призводить до того, що вони споживають все більше обчислювальної потужності, а як наслідок й енергії. Тому бізнес має необхідність у створенні більш ефективних LLM, що використовують переваги апаратного забезпечення, на якому вони розгорнуті.

 

Neural Magic, заснована у 2018 році науковим співробітником Массачусетського технологічного інституту Алексом Матвєєвим та професором Нір Шавітом. Компанія розробляє інструменти  оптимізації LLM для роботи на системах з GPU та CPU. Це означає, що компанія може тонко налаштовувати та оптимізувати моделі АІ, щоб максимізувати ефективність апаратного забезпечення на численних апаратних архітектурах.

 

«Робочі навантаження АІ повинні працювати скрізь, де знаходяться дані клієнтів у гібридній хмарі, - заявив Метт Хікс (Matt Hicks), президент і генеральний директор Red Hat. - Це робить гнучкі, стандартизовані та відкриті платформи та інструменти необхідними, оскільки вони дозволяють організаціям обирати середовища, ресурси та архітектури, які найкраще відповідають їхнім унікальним операційним потребам та потребам у даних».

 

Neural Magic зробила значний внесок у проект з відкритим вихідним кодом для розгортання моделей під назвою vLLM, який, за словами Red Hat, привернув увагу компанії. Проект надає швидку, ефективну бібліотеку для обслуговування та розгортання моделей АІ, оптимізованих для хмари, яка підтримує численні архітектури процесорів та графічних процесорів. Компанія також розробила спеціалізований LLM-компресор, який забезпечує швидший висновок за допомогою vLLM, що дозволяє швидше обробляти АІ-моделі.

 

Стартап також зберігає репозиторій готових, попередньо оптимізованих LLM з відкритим вихідним кодом, готових до розгортання з vLLM, щоб компанії могли швидко впроваджувати високопродуктивні моделі в великих масштабах.

 

Red Hat заявила, що лідерство Neural Magic в vLLM допоможе розвинути здатність компанії підтримувати розгортання LLM для гібридної хмари з будь-яким апаратним забезпеченням.

 

Також зазначається, що це придбання є важливим кроком для стратегії Red Hat у сфері АІ з відкритим вихідним кодом. Нещодавно компанія запустила Red Hat Enterprise Linux AI, який об'єднує сімейство LLM з відкритим вихідним кодом Granite, розроблене IBM з інструментами вирівнювання моделей InstructLab від Red Hat.

 

«Відкритий код знову і знову доводить, що він стимулює інновації завдяки співпраці спільноти, - наголосив генеральний директор Neural Magic Брайан Стівенс (Brian Stevens). - У Neural Magic ми зібрали найкращих фахівців у галузі інженерії продуктивності АІ з єдиною місією - створити відкриті, крос-платформні, високоефективні можливості для обслуговування LLM».