Meta випустила нову збірку АІ-моделей Llama 4

Meta Platforms в суботу випустила нову версію своєї великої мовної моделі Llama, яку називає мультимодальною системою АІ. Тобто мова йде, про можливості обробляти та інтегрувати різні типи даних, включаючи текст, відео, зображення та аудіо, і можуть конвертувати контент між цими форматами.

 

У заяві Meta йдеться, що Llama 4 Scout і Llama 4 Maverick є «найдосконалішими моделями» і «найкращими у своєму класі з точки зору мультимодальності».

 

Scout і Maverick доступні у відкритому доступі на Llama.com. Мультимодальні функції поки що обмежені США англійською мовою.

 

Мета також повідомила, що фіналізує навчання Llama 4 Behemoth, яку називає «одною з найрозумніших LLM у світі і нашою найпотужнішою технологією, яка ще має стати вчителем для наших нових моделей».

 

Meta стверджує, що Llama 4 - це перша група моделей, яка використовує архітектуру змішаних експертів (MoE), що є більш ефективнлю з погляду обчислень для навчання і відповідей. Суть MoE у тому, що завдання розділяється на частини, обробка яких віддається більш дрібним спеціалізованим моделям-експертам. Так, Maverick оперує всього 400 мільярдами параметрів, серед них тільки 17 мільярдів активних параметрів які обрабляють 128 моделями-експертами. Scout відповідно має 109 мільярдів загальних параметрів, з яких 17 мільярдів активних, все це обробляється 16 експертними сістемами.

 

Meta вважає, що Scout більш підходить до таких завдань, як наприклад, резюмування документів, оскільки модель має дуже велике контекстне вікно - 10 мільйонів токенів.

 

У п'ятницю видання The Information повідомило, що Meta відкладала запуск останньої версії своєї програми LLM, оскільки під час розробки Llama 4 не виправдала очікувань Meta щодо технічних тестів, особливо в міркуваннях та математичних завданнях. Начебто, компанія була стурбована тим, що Llama 4 була менш здатна, ніж моделі OpenAI, вести голосові розмови, подібні до людських, додається у звіті.

 

Цього року Meta планує витратити 65 мільярдів доларів на розширення своєї АІ-інфраструктури на тлі тиску інвесторів, які вимагають від великих технологічних компаній демонструвати віддачу від своїх інвестицій.