Вместо джойстика – рука

Вплоть до недавнего времени пользователи нуждались в мыши, клавиатуре, сенсорных экранах или джойстиках для управления компьютерной системой. Исследователи из Германии разработали новый вид команд с помощью жестов, в которых используются только пальцы руки.

Перед тем как автомобиль попадает на конвейер, он существует в виде виртуальной модели. В камере для представления виртуальных объектов разработчики рассматривают ее со всех сторон. Они «сидят» внутри нее и проводят испытания. Например, до всех ли переключателей легко дотянуться? До настоящего времени для управления компьютером использовался джойстик. В будущем можно будет обойтись без него – для этого достаточно будет только рук. Мультисенсорный интерфейс, разработанный Георгом Хакенбергом (Georg Hackenberg) из Института Фраунгофера по прикладным информационным технологиям (FIT), делает это возможным.

«Мы используем камеру, которая взамен цвета предоставляет данные о расстоянии каждого элемента изображения от камеры. Это достигается, в основном, посредством полутонового изображения (шкала серого), в котором тени серого соответствуют расстоянию до объекта. Камера также обеспечивает трехмерную информацию, которую система оценивает с помощью специального алгоритма», - объяснил Георг Хакенберг.

Собственно алгоритмы и являются основной компонентой разработки. С их помощью система вначале распознает руку, а затем реагирует на ее движения. В общем, система с 3D-камерой обрабатывает жесты на уровне движения отдельных пальцев в режиме реального времени. До недавнего времени обработка движения пальцев рук могла определять движение в плоскости изображения, другими словами, не была представлена информация о глубине, то есть, как далеко находится рука от камеры. При этом зачастую было трудно ответить на вопрос, с каким объектом взаимодействует рука: включила ли она стеклоочиститель или радио. Небольшие движения руки, такие как захват, до сих пор очень трудно определить в режиме реального времени. Но это не представляет проблемы для новой системы.

Команды на уровне жестов интересны также и в области компьютерных игр. Прототип для распознавания жестов уже существуют. Сейчас исследователи хотят устранить слабости алгоритма. Хакенберг надеется, что система будет готова для серийного выпуска в пределах года.