Распознавание жестов дополняет возможности клавиатурного ввода

Система распознавания жестов рук пользователя вблизи от клавиатуры, созданная в Школе компьютерных наук канадского Университета Ватерлоо, позволяет уменьшить необходимость в использовании «горячих» комбинаций клавиш, мыши или трекпада, и отличается от аналогичных решений минимальными требованиями к оборудованию.

«Все началось с простой идеи о новых способах применения веб-камеры», – рассказал Налин Чиббер (Nalin Chhibber), недавний выпускник магистратуры Школы компьютерных наук при Ватерлоо. – Веб-камера направлена ​​на ваше лицо, но главное взаимодействие с компьютером сосредоточено вокруг ваших рук.  Итак, мы подумали, что можно было бы сделать, если бы веб-камера могла регистрировать жесты рук?».

Прототип под названием Typealike использует простую зеркальную насадку, которая позволяет отслеживать движения рук над клавишами с помощью встроенной веб-камеры ноутбука. Пользователь может, например, повернуть вверх большой палец правой кисти, сложенной в кулак, и Typealike воспримет это как сигнал для увеличения громкости. Можно запрограммировать различные жесты и их комбинации для выполнения широкого диапазона операций.

В работе, которой посвящена статья, недавно вышедшая в журнале ACM Human Computer Interaction, рассматривались 36 комбинаций, включающих правую или левую руки, сжатую или раскрытую кисть, три местоположения рук и три угла поворота запястья.

На предварительной стадии был накоплен массив данных, состоящий из 350 тысяч изображений рук 30 участников. «Люди жестикулируют немного по-разному, а их руки различаются по размеру, поэтому нужно собрать много данных от разных людей в разных условиях освещения», – сказал Фабрис Матулич (Fabrice Matulic), старший научный сотрудник Preferred Networks и бывший постдок Ватерлоо.

Модель глубокого обучения, натренированная на этих данных, распознавала с точностью более 97% все 36 комбинаций, плюс два дополнительных внежестовых класса – для печати и не печати.

В последующем эксперименте на 20 участниках тестировалась эффективность применения распознавателя в режиме реальной работы. Он показал сопоставимую скорость жестового управления, применения позиционирующих устройств и комбинаций клавиш, а также низкую частоту ошибочных срабатываний Typealike.

Исследователи считают, что у программы Typealike также есть приложения в виртуальной реальности, где она может устранить необходимость в портативных контроллерах.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365