Гуманоїдні роботи отримали відкриту базову модель

Одним із перспективних напрямків впровадження технології штучного інтелекту є роботи. Тому не дивно, що на сцену нещодавньої конференції GTC глава NVIDIA Джесен Хуанг (Jensen Huang) запросив робота. Річ у тім, що у своєму ключовому виступі він познайомив з цікавими ініціативами в цьому напрямку.

Так NVIDIA представила портфель технологій для прискорення розроблення гуманоїдних роботів, включно з NVIDIA Isaac GR00T N1, першою у світі відкритою базовою моделлю з можливістю повного налаштування, яка дозволяє узагальнити мислення і навички гуманоїдів.

Інші технології включають фреймворки для моделювання та креслення, такі як NVIDIA Isaac GR00T Blueprint для генерації синтетичних даних, а також Newton, фізичний рушій з відкритим вихідним кодом, що розробляється спільно з Google DeepMind і Disney Research, спеціально для створення роботів.

Доступний вже зараз GR00T N1 - перший із сімейства моделей, що повністю налаштовуються, які NVIDIA попередньо навчить і надасть розробникам робототехніки в усьому світі, прискорюючи трансформацію галузей, що відчувають глобальну нестачу робочої сили, яку оцінюють у понад 50 млн осіб.

«Ера універсальної робототехніки настала», - сказав Дженсен Хуанг (Jensen Huang), засновник і генеральний директор NVIDIA. «З NVIDIA Isaac GR00T N1 і новими фреймворками для генерації даних і навчання роботів розробники робототехніки в усьому світі відкриють наступний рубіж в епоху AI».

Базова модель GR00T N1 має двосистемну архітектуру, натхненну принципами людського пізнання. «Система 1» - це модель швидких дій, що відображає людські рефлекси або інтуїцію. «Система 2» - це модель повільного мислення для обдуманого, методичного прийняття рішень.

Завдяки мовній моделі бачення Система 2 розмірковує про своє оточення та отримані інструкції, щоб спланувати дії. Потім Система 1 перетворює ці плани на точні, безперервні рухи робота. Система 1 навчається на демонстраційних даних людини й величезній кількості синтетичних даних, що генеруються платформою NVIDIA Omniverse.

GR00T N1 може легко узагальнювати загальні завдання - як-от захоплення, переміщення об'єктів однією або двома руками та передавання предметів з однієї руки в іншу - або виконувати багатоетапні завдання, які потребують тривалого контексту і комбінації загальних навичок. Ці можливості можуть застосовуватися в таких галузях, як обробка матеріалів, пакування та контроль.

Розробники та дослідники можуть навчати GR00T N1 за допомогою реальних або синтетичних даних для конкретного гуманоїдного робота або завдання.

У своєму виступі на GTC Дженсен Хуанг продемонстрував, як робот-гуманоїд компанії 1X автономно виконує завдання з прибирання будинку за допомогою політики, побудованої на GR00T N1. Автономні можливості робота - результат співпраці 1X і NVIDIA в галузі навчання AI.

«Майбутнє гуманоїдів - це адаптивність і навчання», - сказав Бернт Борніч (Bernt Børnich), генеральний директор 1X Technologies. Ми розробляємо власні моделі, але GR00T N1 від NVIDIA значно підвищує ефективність мислення і навичок роботів. З мінімальною кількістю даних після навчання ми повністю розгорнули NEO Gamma, просуваючи нашу місію зі створення роботів, які будуть не просто інструментами, а компаньйонами, здатними допомагати людям у значущих і невимірних аспектах».

Серед інших провідних світових розробників гуманоїдів, які отримали ранній доступ до GR00T N1, - Agility Robotics, Boston Dynamics, Mentee Robotics і NEURA Robotics.

NVIDIA оголосила про співпрацю з Google DeepMind і Disney Research у розробці Newton - фізичного рушія з відкритим вихідним кодом, який дає змогу роботам вчитися справлятися зі складними завданнями з більшою точністю.

Створений на базі фреймворку NVIDIA Warp, Newton буде оптимізовано для навчання роботів і сумісний з такими фреймворками для моделювання, як MuJoCo від Google DeepMind і NVIDIA Isaac Lab. Крім того, три компанії планують дозволити Newton використовувати фізичний рушій Disney.

Google DeepMind і NVIDIA співпрацюють у розробці MuJoCo-Warp, який, як очікується, прискорить робочі навантаження машинного навчання робототехніки у понад 70 разів і буде доступний розробникам через бібліотеку MJX з відкритим вихідним кодом Google DeepMind, а також через Newton.

Disney Research стане однією з перших компаній, що використовують Newton для розвитку своєї платформи роботів-персонажів, на якій працюють розважальні роботи нового покоління, такі як виразні дроїди BDX, натхненні «Зоряними війнами», які з'явилися на сцені під час виступу Дженсена Хуанга на GTC.

«Дроїди BDX - це тільки початок. Ми прагнемо оживити нових персонажів так, як світ ще не бачив, і ця співпраця з Disney Research, NVIDIA та Google DeepMind є ключовою частиною цього бачення», - сказав Кайл Лафлін (Kyle Laughlin), старший віцепрезидент Walt Disney Imagineering з досліджень і розробок. «Ця співпраця дасть нам змогу створити нове покоління роботизованих персонажів, які будуть виразнішими й цікавішими, ніж будь-коли раніше, і спілкуватимуться з нашими гостями так, як може тільки Disney».

NVIDIA і Disney Research разом з Intrinsic оголосили про додаткову співпрацю зі створення конвеєрів OpenUSD і найкращих практик для роботи з даними з робототехніки.

Великі, різноманітні та високоякісні набори даних дуже важливі для розробки роботів, але їхнє отримання вимагає великих витрат. Для гуманоїдів реальні дані про демонстрацію людини обмежені 24 годинами на добу.

Анонсований NVIDIA Isaac GR00T Blueprint для генерації синтетичних маніпуляційних рухів допомагає розв'язати цю проблему. Побудоване на основі базових моделей світу Omniverse і NVIDIA Cosmos Transfer, креслення дає змогу розробникам генерувати експоненціально великі обсяги синтетичних даних руху для завдань маніпуляції на основі невеликої кількості людських демонстрацій.

Використовуючи перші доступні компоненти, NVIDIA згенерувала 780 000 синтетичних траєкторій - еквівалент 6500 годин або дев'яти безперервних місяців демонстраційних даних людини - всього за 11 годин. Потім, об'єднавши синтетичні дані з реальними, NVIDIA підвищила продуктивність GR00T N1 на 40% порівняно з використанням тільки реальних даних.

Щоб надати спільноті розробників цінні тренувальні дані, NVIDIA випускає набір даних GR00T N1 як частину більшого набору даних фізичного AI з відкритим вихідним кодом, який також був анонсований на GTC і тепер доступний на Hugging Face.

Тренувальні дані NVIDIA GR00T N1 і сценарії оцінювання завдань тепер доступні для завантаження на Hugging Face і GitHub. NVIDIA Isaac GR00T Blueprint для генерації синтетичних маніпуляційних рухів також тепер доступний у вигляді інтерактивної демонстрації на build.nvidia.com або для завантаження з GitHub.

Персональний AI-суперкомп'ютер NVIDIA DGX Spark, також анонсований на GTC, надає розробникам готову систему для розширення можливостей GR00T N1 для нових роботів, завдань і оточення без великого призначеного для користувача програмування.

Очікується, що фізичний рушій Newton буде доступний пізніше цього року.

Вебінар "Безпечний контроль доступу в корпоративній мережі завдяки Cisco ISE та підходу Zero Trust" - 29 квітня