Facebook изобретает “AR-мышку” для будущего без iPhone

Публикация 9 марта в блоге Facebook Reality Lab (FRL) стала первой в серии постов, в которых гигант социальных сетей раскроет своё видение эволюции взаимодействия человека с компьютером (HCI) в следующие 10 лет.

Главная продвигаемая идея – очки дополненной реальности (AR) с чувствительным к контексту ИИ-интерфейсом, управляемым мышечными импульсами –  привлекательна для компании ещё и тем, что будет способствовать уменьшению зависимости от Apple, которая изменениями своих политик приватности продолжает ущемлять бизнес-модель Facebook.

Умные очки (первые буду выпущены Facebook уже в этом году) в комбинации с компьютерным зрением (визуальный поиск, понимание сцены и т.п.) и обработкой естественного языка (NLP) будут меньше отвлекать пользователей, чем необходимость смотреть в экран смартфона, держа его в руках, иными словами «не будут вынуждать пользователя делать выбор между реальным и цифровым миром».

Главный научный сотрудник Facebook Reality Labs (FRL) Майкл Абраш (Michael Abrash) назвал взаимодействие с дополненной реальностью «одной из самых сложных и интересных междисциплинарных проблем». По степени сдвига парадигмы HCI он уподобил это изобретению компьютерной мыши командой Дуга Энгельбарта (Doug Engelbart) в 1960-х годах.

Такую «мышку для AR» ещё только предстоит изобрести. В поисках более естественного и ненавязчивого способа управления очками AR, эксперты FRL изучили ряд вариантов нейронного ввода, включая электромиографию (ЭМГ), которая признана ими наиболее многообещающей. Улавливаемые браслетом на запястье электрические сигналы, которые проходят от спинного мозга к мышцам руки, позволяют регистрировать смещение пальца всего на миллиметр. Это означает, что ввод может столь же легким, как нажатие на виртуальную кнопку, или даже просто желание пошевелить пальцем.

Концепция такого устройства, что называется, «носится в воздухе» и уже получила воплощение в браслете Myo от бывшей фирмы  Thalmic или в выходящем в этом месяце обладателе награды CES 2021 Innovation Award под названием Mudra Band (браслет для Apple Watch) от стартапа Wearable Devices.

Исследования Facebook в этой области базируются на технологиях купленного ею в 2019 году американского стартапа  CTRL-Labs, который использовал электрические сигналы мышц для контроля виртуальной руки и показания датчиков, подключаемые к головному и спинному мозгу – в качестве управляющих сигналов для очков AR.

Говоря об огромном потенциале сочетания интуитивного ввода с контекстно-чувствительным ИИ, авторы блога отдают отчёт и о масштабах технологических проблем, стоящих на пути к появлению комфортабельного решения для постоянного ношения, например, обеспечения богатой тактильной обратной связи для управления виртуальными объектами.

Создание интерфейса, который точно адаптируется к вашим привычкам и потребностям и умеет задать простой вопрос, чтобы устранить неоднозначность, это также задача на много лет вперёд. Первым шагом к ней стал недавно запущенный Facebook проект Aria.

В последующих выпусках блога FRL продолжит приподнимать завесу над некоторыми из своих работ с «HCI на запястье» и с тем, что понимает под адаптивным интерфейсом.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365