Nvidia розширює можливості AI-навчання для гуманоїдних роботів

За повідомленням Nvidia, компанія розробила нові мікросервіси та фреймворки AI для гуманоїдних роботів у рамках своєї пропозиції NIMS, запущеної раніше цього року, а також платформу Jetson Thor, що працює з AI на варіанті GPU Blackwell.

Вони будуть використовуватися компаніями 1x, Boston Dynamics, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra та Skild AI, які приєдналися до нової програми розробників гуманоїдних роботів, що надає ранній доступ включаючи базові моделі Project Gr00t.

Компанія Nvidia також розробила сервіс оркестрування під назвою Osmo для виконання багатоступеневих робочих навантажень у робототехніці, а також робочий процес телеоперації з підтримкою AI та моделювання, що дозволяє розробникам навчати роботів, використовуючи невеликі обсяги демонстраційних даних людини.

«Наступна хвиля AI – це робототехніка, і одним із найбільш захопливих напрямків розвитку є людиноподібні роботи», – сказав Дженсен Хуанг (Jensen Huang), засновник та генеральний директор NVIDIA. «Ми розвиваємо весь робототехнічний стек NVIDIA, відкриваючи доступ розробникам гуманоїдів та компаніям по всьому світу до платформ, бібліотек прискорення та моделей AI, що найбільш підходять для їх потреб».

Мікросервіси NIM пропонують готові контейнери Docker з програмним забезпеченням Nvidia inference для скорочення часу розгортання з тижнів до хвилин. Два нових AI-мікросервіси дозволять робототехнікам покращити робочі процеси моделювання для генеративного фізичного AI Isaac Sim, еталонному додатку для моделювання робототехніки, побудованому на платформі Omniverse.

Мікросервіс MimicGen NIM генерує синтетичні дані про рух на основі записаних телеопераційних даних із просторових обчислювальних пристроїв, таких як Apple Vision Pro. Мікросервіс Robocasa NIM генерує завдання для роботів та готові до моделювання середовища в OpenUSD, універсальному фреймворку для розробки та спільної роботи у 3D-світах.

Osms - це хмарний нативний керований сервіс, що дозволяє користувачам організовувати та масштабувати складні робочі процеси розробки роботів на розподілених обчислювальних ресурсах як у приміщеннях, так і в хмарі. Зазначається, це значно спрощує процеси навчання та моделювання роботів, скорочуючи час розгортання та розробки з кількох місяців до одного тижня. Користувачі можуть візуалізувати та керувати цілим рядом завдань – генерувати синтетичні дані, навчати моделі, проводити навчання з посиленням та здійснювати тестування програмного забезпечення у циклі в масштабі для гуманоїдів, автономних мобільних роботів та промислових маніпуляторів.

Навчання базових моделей для гуманоїдних роботів потребує неймовірної кількості даних. Одним зі способів збору даних про демонстрацію людини є телеоперація, але цей процес стає дедалі дорожчим та тривалішим.

Еталонний робочий процес телеоперації, продемонстрований на конференції з комп'ютерної графіки SIGGRAPH, дозволяє дослідникам та розробникам AI генерувати величезну кількість синтетичних даних про рух та сприйняття на основі мінімальної кількості дистанційно знятих демонстрацій людини.

Спочатку розробники використовують Apple Vision Pro для захоплення невеликої кількості демонстрацій із телеоператором. Потім вони моделюють записи Isaac Sim і використовують мікросервіс MimicGen NIM для створення синтетичних наборів даних на основі цих записів.

Розробники навчають базову модель гуманоїду Project GR00T на реальних та синтетичних даних, що дозволяє їм заощадити час та знизити витрати. Потім вони використовують мікросервіс Robocasa NIM в Isaac Lab, фреймворку для навчання роботів, щоб генерувати досвід для повторного навчання моделі робота. Протягом усього робочого процесу NVIDIA OSMO плавно розподіляє обчислювальні завдання з різних ресурсів, позбавляючи розробників багатотижневих адміністративних завдань.

Компанія Fourier, розробник універсальної робототехнічної платформи, бачить переваги використання технології симуляції для синтетичної генерації навчальних даних.

"Розробка людиноподібних роботів надзвичайно складна і вимагає неймовірної кількості реальних даних, які доводиться збирати з реального світу", - сказав Алекс Гу (Alex Gu), генеральний директор Fourier. "Нові інструменти NVIDIA для моделювання та розробки генеративного AI допоможуть прискорити процес розробки моделей".

Суперкомп'ютери Nvidia AI використовуються для навчання моделей, тоді як Isaac Sim дозволяє роботам вчитися та вдосконалювати свої навички у симульованих світах, а комп'ютери гуманоїдних роботів Jetson Thor – для запуску моделей.

"Boston Dynamics і Nvidia вже давно тісно співпрацюють, щоб розширити межі можливого в робототехніці", - сказав Аарон Сондерс (Aaron Saunders), головний технічний директор Boston Dynamics. «Ми дуже раді бачити, як плоди цієї роботи прискорюють розвиток галузі в цілому, а програма раннього доступу – це фантастичний спосіб отримати доступ до найкращих у своєму класі технологій».

Розробники можуть приєднатися до програми Nvidia Humanoid Robot Developer Programme вже зараз, щоб отримати доступ до Osmo та Isaac Lab, а незабаром вони матимуть доступ до мікросервісів NIM.