| 0 |
|
У четвер компанія Snowflake представила нові можливості оптимізації великих мовних моделей Meta Llama з допомогою SwiftKV, що дозволяють підвищити продуктивність і знизити вартість розробки.
Snowflake вперше представила SwiftKV в грудні і зробила його відкритим кодом. Це інструмент, який знижує обчислювальну потужність, необхідну для запуску великих мовних моделей (LLM), що лежать в основі додатків генеративного АІ.
За словами Snowflake, вдалося підвищити продуктивність виведення LLM - кількість тексту, яку модель може створити за певний проміжок часу - на 50%.
Моделі Llama 3.3 70B і Llama 3.1 405B, інтегровані зі SwiftKV - Snowflake-Llama-3.3-70B і Snowflake-Llama-3.1-405B - тепер доступні для використання в Cortex AI, середовищі розробки компанії Snowflake.
Нагадаємо Snowflake, що базується в Бозмені (шт Монтана), є постачальником платформ для обробки даних та конкурує з Databricks.
Генеративний АІ має потенціал для трансформації бізнесу, роблячи працівників не лише розумнішими, а й ефективнішими. Однак розробка GenAI коштує дорого.
За даними Snowflake, завдяки підвищенню продуктивності LLM-висновків на 50%, витрати можуть бути знижені на 75% в порівнянні з використанням моделей Llama без SwiftKV.
Snowflake також розглядає можливість інтеграції SwiftKV з іншими LLM.
Крім того, дорожня карта Snowflake включає додавання можливостей, які полегшують розробку агентів і додатків АІ, використання як структурованих, так і неструктурованих даних, а також точне налаштування моделей для задоволення конкретних бізнес-потреб.
Комп’ютерний розум: генеративний штучний інтелект у рішеннях AWS
| 0 |
|
