Meta створює штучну зорову кору для роботів

Дослідники з підрозділу штучного інтелекту компанії Meta Platforms оголосили про кілька ключових розробок в області адаптивної координації навичок і реплікації зорової кори, які, за їхніми словами, дозволять роботам зі штучним інтелектом діяти в реальному світі автономно.

 

Ці розробки вважаються значним кроком вперед на шляху до створення універсальних «втілених агентів АІ», здатних взаємодіяти з реальним світом без втручання людини. Перше повідомлення стосується створення штучної візуальної кори головного мозку під назвою VC-1, яка навчається на базі даних Ego4D, що складається з тисяч відеозаписів людей, які виконують повсякденні завдання.

 

Як пояснили дослідники у своєму блозі, зорова кора - це ділянка мозку, яка дозволяє організмам перетворювати зір на рух. Тому штучна зорова кора є ключовою вимогою для будь-якого робота, який повинен виконувати завдання на основі того, що він бачить перед собою. Оскільки VC-1 повинен добре працювати для виконання різноманітних сенсомоторних завдань у широкому діапазоні середовищ, набір даних Ego4D виявився особливо корисним, оскільки він містить тисячі годин відеозаписів натільних камер учасників дослідження з усього світу, які виконують повсякденні дії, такі як приготування їжі, прибирання, заняття спортом та ремеслами.

 

"Біологічні організми мають одну універсальну зорову кору головного мозку, і саме її ми шукаємо для втілених агентів", - кажуть дослідники. Тому вони поставили собі за мету створити такого агента, який би добре виконував кілька завдань, почавши з Ego4D як основного набору даних і експериментуючи, додаючи додаткові набори даних для покращення VC-1. "Оскільки Ego4D значною мірою орієнтований на повсякденну діяльність, таку як приготування їжі, садівництво та ремесла, ми також розглядаємо егоцентричні набори відеоданих, які досліджують будинки та квартири", - пишуть дослідники.

 

Однак зорова кора - це лише один з елементів втіленого АІ. Для того, щоб робот міг працювати повністю автономно в реальному світі, він також повинен бути здатним маніпулювати реальними об'єктами. Роботи повинні вміти переміщатися до об'єкта, підіймати його, переносити в інше місце і розміщувати об'єкт - і все це на основі того, що вони бачать і чують.

 

Щоб вирішити це завдання, експерти зі штучного інтелекту компанії Meta співпрацювали з дослідниками з Технологічного інституту Джорджії, щоб розробити нову методику, відому як "адаптивна координація навичок", коли роботи навчаються повністю в симуляціях, а потім ці навички переносяться на реальних роботів.

 

Meta продемонструвала ефективність своєї методики ASC у співпраці з Boston Dynamics. Модель ASC була інтегрована з роботом Spot від Boston Dynamics, який має потужні можливості навігації та виконанні різноманітних завдань, хоча і з великою часткою людського втручання.

 

ASC був протестований на Spot за допомогою симулятора Habitat в середовищах, створених за допомогою наборів даних HM3D і ReplicaCAD, які містять 3D-сканування приміщень більш ніж 1 000 будинків. Потім змодельований робот Spot навчився пересуватися по раніше небаченому будинку, підіймати предмети, які не були на своїх місцях, переносити їх, а потім ставити у потрібне місце. Пізніше ці знання були передані реальним роботам Spot, які виконували ті ж самі завдання автоматично, спираючись на засвоєні уявлення про те, як виглядають будинки.

 

Як пишуть дослідники, загалом, ASC продемонстрував майже ідеальну продуктивність, досягнувши успіху в 59 з 60 епізодів, долаючи апаратну нестабільність, збої в роботі та несприятливі перешкоди, такі як рухомі перешкоди або заблоковані шляхи.

 

Дослідники Meta кажуть, що сьогодні вони використовують модель VC-1 з відкритим вихідним кодом і діляться своїми детальними знаннями про те, як масштабувати розмір моделі, розміри наборів даних тощо, у супровідному документі. Тим часом наступним кроком команди буде спроба інтегрувати VC-1 з ASC, щоб створити єдину систему, яка наблизиться до справжнього втіленого АІ.