| 0 |
|
Компанія NVIDIA оголосила про вихід нової відкритої AI-моделі Nemotron 3.5 Lightning та бібліотеки маршрутизації NeMo Switchyard. Нові інструменти покликані суттєво прискорити роботу мультиагентних AI-систем (Agentic AI), знизити витрати на обчислення та надати підприємствам повний контроль над розгортанням і конфіденційністю даних.
Новинки працюють на усій екосистемі обладнання NVIDIA - від локальних ПК та робочих станцій до дата-центрів і хмарних інфраструктур.
Nemotron 3.5 Lightning є відкритою 30-мільярдною моделлю архітектури Mixture-of-Experts (MoE). Вона розроблена для виконання вузькоспеціалізованих завдань у складі великих мультиагентних систем.
У той час як надпотужні моделі (як-от Nemotron 3 Ultra чи GPT-5.6) відповідають за глобальне планування, Nemotron 3.5 Lightning бере на себе рутинні та часті операції: аналіз коду, моніторинг загрози безпеці, роботу з інструментами чи відповіді на фінансові запити.
Заявлено, виведення даних відбувається до 4 разів швидше, що забезпечує на 30% швидше виконання агентних завдань порівняно з аналогами у своєму класі.
Завдяки відкритому коду модель легко донавчати (post-training) за допомогою NVIDIA NeMo на власних даних компанії.
Рішення може працювати локально на ПК з відеокартами NVIDIA RTX, станціях DGX Spark, DGX Station та Jetson, а також масштабуватися до рівня хмар і дата-центрів.
Модель розроблялася за участі консорціуму Nemotron Coalition. Разом із релізом моделі NVIDIA опублікувала датасет Nemotron-RL-Agentic-Terminal-Pivot, використаний для навчання AI-агентів у програмуванні.
Під час виконання складних завдань використання лише однієї «флагманської» моделі призводить до перевитрат, а ручний перерозподіл запитів ускладнює розробку.
NeMo Switchyard - це нова відкрита бібліотека, яка автоматично перенаправляє кожен окремий запит AI-агента до оптимальної моделі (власної, відкритої чи комерційної) залежно від вимог до якості, затримки та вартості.
За даними внутрішніх тестів NVIDIA, використання NeMo Switchyard дозволяє зберігати точність на рівні топових моделей, знижуючи підсумкову вартість виконання завдань майже до третини порівняно з використанням лише Opus 4.8.
Провідні компанії вже інтегрують нові технології у свої продукти. Так CrowdStrike, Harvey, CodeRabbit та Fastino Labs адаптували Nemotron 3.5 Lightning для підвищення точності у сферах кібербезпеки, юриспруденції та аналізу коду.
LangChain за допомогою NeMo Switchyard досягла зниження витрат на 74% у багатокрокових завданнях Deep Agents.
Cognition (Devin Desktop) та Ramp зафіксували скорочення витрат на 28% та 58% відповідно при збереженні показників точності.
Інтеграцію NeMo Switchyard також підтримали Boomi, Cadence, Classmethod, Kong, LiteLLM, Nous Research та Siemens.
Модель Nemotron 3.5 Lightning вже доступна на платформах Hugging Face, ModelScope, OpenRouter та у вигляді мікросервісу NVIDIA NIM на build.nvidia.com. Бібліотека NeMo Switchyard опублікована в репозиторії GitHub.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
