Ввод текста с помощью жестов

25 февраль, 2013 - 14:35Леонід Бараш

Набирать текстовое сообщение на мобильном телефоне с помощью миниатюрной клавиатуры весьма обременительно. Как насчет того, чтобы просто писать в воздухе? Эта идея привела к разработке «воздушного письма», выполненной учеными из Института технологии Карлсруэ (KIT). Сенсоры, присоединенные к перчаткам, записывают движение руки, компьютерная система захватывает значимые сигналы и транслирует их в текст. Система предоставляет новый интерфейс для носимых компьютеров.

В разработке сенсоры ускорения и гироскопы подсоединяются к тонкой перчатке. В отличие от систем, базированных на камерах, эти сенсоры очень маленькие, мобильные и надежные. Они записывают движения руки и передают их в компьютерную системы по беспроводному соединению. Компьютерная система сначала проверяет, действительно ли пользователь пишет. «Все движения, которые не похожи на письмо, такие как при стряпне, стирке, знаки рукой кому-нибудь, игнорируются. Система работает в фоновом режиме, не интерпретируя каждое движение как компьютерный ввод», - говорит аспирант Кристоф Амма (Christoph Amma). Ученые полагают, что устройство идеально подходит для будущих приложений смешанной реальности. Например, в очках с интегрированными миниатюрными экранами новости могут выводиться в поле зрения. «Когда такая система комбинируется с возможностью ввода команд и текста посредством жестов, нет необходимости иметь наладонное устройство», - отметил Амма.

Система декодирует движения в буквы с помощью методов распознавания образов. Предыдущие подходы в основном фокусировались на распознавании одиночных жестов, ассоциируемых с определенными командами. Предлагаемый подход идет намного дальше: для каждой буквы алфавита сохраняется статистическая модель образа сигнала. Принимается также во внимание индивидуальные особенности стиля письма. Система может распознать полные предложения, написанные прописными (заглавными) буквами и к настоящему имеет словарь, содержащий 8 тыс. слов. Вероятность ошибки составляет 11%. При адаптации к индивидуальному стилю письма она снижается до 3%.

Ввод текста с помощью жестов

Компьютер распознает буквы, написанные в воздухе