NVIDIA запускає мікросервіси генеративного AI для розробників

На конференції GTC 2024 NVIDIA представила десятки мікросервісів генеративного AI корпоративного рівня, які компанії можуть використовувати для створення і розгортання призначених для користувача додатків на своїх платформах, зберігаючи повне володіння і контроль над своєю інтелектуальною власністю.

Побудований на платформі NVIDIA CUDA, каталог хмарних нативних мікросервісів охоплює мікросервіси NVIDIA NIM для оптимізації обчислень на більш ніж двох десятках популярних моделей AI від NVIDIA та її партнерської екосистеми. Крім того, набори для розробки прискореного ПЗ, бібліотеки та інструменти NVIDIA тепер доступні у вигляді мікросервісів NVIDIA CUDA-X для генерації з розширенням пошуку (RAG), обробки даних, HPC і багато чого іншого. NVIDIA також анонсувала понад два десятки мікросервісів NIM і CUDA-X для охорони здоров'я.

Вибіркова добірка мікросервісів додає новий рівень до повнофункціональної обчислювальної платформи NVIDIA. Цей рівень об'єднує екосистему розробників AI-моделей, постачальників платформ і підприємств зі стандартизованим шляхом для запуску користувацьких моделей AI, оптимізованих для встановленої бази NVIDIA CUDA із сотнями мільйонів GPU у хмарах, центрах обробки даних, робочих станціях і ПК.

Одними з перших доступ до нових мікросервісів генеративного AI від NVIDIA у NVIDIA AI Enterprise 5.0 отримали провідні постачальники застосунків, даних і платформ кібербезпеки, зокрема Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow і Shutterstock.

"Усталені корпоративні платформи мають золоту жилу даних, які можна перетворити на генеративні AI-пілоти", - сказав Дженсен Хуанг (Jensen Huang), засновник і генеральний директор NVIDIA. "Створені за допомогою нашої партнерської екосистеми, ці контейнерні мікросервіси AI є будівельними блоками для підприємств у будь-якій індустрії, щоб стати AI-компаніями".

Мікросервіси NIM є готовими контейнерами на базі ПЗ для обчислень NVIDIA, включно з Triton Inference Server і TensorRT-LLM, які дають змогу розробникам скоротити час розгортання з тижнів до хвилин.

Вони надають стандартні API для таких галузей, як мова, мовлення та синтез ліків, щоб розробники могли швидко створювати додатки AI на основі власних даних, безпечно розміщених у їхній власній інфраструктурі. Ці додатки можуть масштабуватися на вимогу, забезпечуючи гнучкість і продуктивність для роботи генеративного AI у виробництві на прискорених обчислювальних платформах NVIDIA.

Мікросервіси NIM забезпечують найшвидший і високопродуктивний виробничий контейнер AI для розгортання моделей від NVIDIA, A121, Adept, Cohere, Getty Images і Shutterstock, а також відкритих моделей від Google, Hugging Face, Meta, Microsoft, Mistral AI та Stability AI.

ServiceNow оголосила, що використає NIM для більш швидкого й економічного розроблення та розгортання нових копіпастів для конкретних галузей та інших застосунків генеративного AI.

Клієнти зможуть отримувати доступ до мікросервісів NIM з Amazon SageMaker, Google Kubernetes Engine і Microsoft Azure AI, а також інтегруватися з такими популярними фреймворками AI, як Deepset, LangChain і LlamaIndex.

Мікросервіси CUDA-X надають наскрізні будівельні блоки для підготовки даних, налаштування і навчання для прискорення розробки AI в різних галузях.

Для прискорення впровадження AI підприємства можуть використовувати мікросервіси CUDA-X, включно з NVIDIA Riva для настроюваного AI мовлення та перекладу, NVIDIA cuOpt для оптимізації маршрутизації, а також NVIDIA Earth-2 для моделювання клімату та погоди у високій роздільній здатності.

Мікросервіси NeMo Retriever дають змогу розробникам пов'язувати свої AI-додатки з бізнес-даними, включно з текстом, зображеннями та візуалізаціями, як-от гістограми, лінійні та кругові діаграми, для створення високоточних, контекстуально релевантних відповідей. Завдяки цим можливостям RAG підприємства можуть надавати більше даних копілотам, чат-ботам та інструментам генеративного AI для підвищення точності та розуміння.

Скоро з'являться додаткові мікросервіси NVIDIA NeMo для розробки користувацьких моделей. Серед них NVIDIA NeMo Curator для створення чистих наборів даних для навчання і пошуку, NVIDIA NeMo Customizer для тонкого налаштування LLM за допомогою даних, специфічних для конкретної галузі, NVIDIA NeMo Evaluator для аналізу продуктивності моделей AI, а також NVIDIA NeMo Guardrails для LLM.

Крім провідних постачальників додатків, постачальники даних, інфраструктури та обчислювальних платформ в екосистемі NVIDIA працюють з мікросервісами NVIDIA, щоб внести генеративний AI в підприємства.

Провідні постачальники платформ даних, включно з Box, Cloudera, Cohesity, Datastax, Dropbox і NetApp, працюють із мікросервісами NVIDIA, щоб допомогти клієнтам оптимізувати конвеєри RAG та інтегрувати власні дані в додатки генеративного AI. Snowflake використовує NeMo Retriever для використання корпоративних даних для створення AI-додатків.

Підприємства можуть розгорнути мікросервіси NVIDIA, включені у NVIDIA AI Enterprise 5.0, в інфраструктурі за своїм вибором, наприклад, у провідних хмарах Amazon Web Services (AWS), Google Cloud, Azure та Oracle Cloud Infrastructure.

Мікросервіси NVIDIA також підтримуються на понад 400 сертифікованих NVIDIA системах, включно з серверами та робочими станціями від Cisco, Dell Technologies, Hewlett Packard Enterprise (HPE), HP, Lenovo і Supermicro. Так HPE оголосила про доступність свого корпоративного обчислювального рішення для генеративного AI, а також про заплановану інтеграцію моделей NIM і NVIDIA AI Foundation у ПЗ AI HPE.

Мікросервіси NVIDIA AI Enterprise з'являться на платформах інфраструктурного ПЗ, включно з VMware Private AI Foundation з NVIDIA. Red Hat OpenShift підтримує мікросервіси NVIDIA NIM, щоб допомогти підприємствам легше інтегрувати можливості генеративного AI у свої додатки з оптимізованими можливостями для безпеки, відповідності та контролю. Canonical додає підтримку Charmed Kubernetes для мікросервісів NVIDIA через NVIDIA AI Enterprise.

Екосистема NVIDIA із сотнями партнерів з AI та MLOps, включно з Abridge, Anyscale, Dataiku, DataRobot, Glean, H2O.ai, Securiti AI, Scale AI, OctoAI та Weights & Biases, додає підтримку мікросервісів NVIDIA через NVIDIA AI Enterprise.

Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis і Weaviate - одні з постачальників векторного пошуку, що працюють із мікросервісами NVIDIA NeMo Retriever для забезпечення можливостей швидкого пошуку для підприємств.

Розробники можуть безоплатно експериментувати з мікросервісами NVIDIA на ai.nvidia.com. Підприємства можуть розгорнути мікросервіси NIM виробничого рівня з NVIDIA AI Enterprise 5.0 на сертифікованих NVIDIA системах і провідних хмарних платформах.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365