Microsoft использует Kinect для интерпретации языка жестов

Компания Microsoft усовершенствует технологии Kinect с целью помочь людям с ограниченными возможностями. Реализованные в этой системе инструменты распознавания движений уже адаптированы для глухих и слабослышащих людей — используемый ими язык жестов включен в словарь Kinect.

Теперь ученые предложили на основе Xbox 360 систему, преобразующую язык жестов в речь. Система отслеживает движения рук, распознает жесты с помощью Kinect, а виртуальный аватар с экрана произносит речь. Возможно и обратное преобразование: необходимо проговорить или напечатать текст, и Kinect преобразует их в движения рук аватара.

Демонстрация новой технологии состоялась 30 октября во время празднования 15-летия азиатского подразделения Microsoft Research. Языковые технологии и инструменты перевода являются одним из основных направлений исследований, уже создано ПО для репликации голоса, голосового перевода (в том числе на китайский). Исследованиями в области распознавания языка жестов активно занимаются в Академии наук Китая. Ранее для мониторинга движений рук пытались использовать видеокамеры и специальные перчатки, что было достаточно дорого. В 2012 г. Microsoft Research начала сотрудничество с Академией Наук Китая и Университетом Пекина, предложив технологии Kinect. Спустя 18 месяцев с начала проекта система распознавания языка жестов может интерпретировать 370 наиболее популярных слов на китайском и английском.

В перспективе новая технология упростит коммуникации и в перспективе даже позволит глухонемым выступать перед обычной аудиторией. Правда, когда она будет доступна широкому кругу пользователей, пока не известно.