Объемное Сканирование Кисти (ОСК)

Помимо внедрения тактильных технологий и ввода в обиход новых жестов вроде "потирания" и "прикатывания" в перспективах эволюционирования тач-гаджетов вырисовываются очертания жестикуляционных интерфейсов, производительность и интуитивность коих воззиждутся на способности отличать указательный палец от среднего, а безымянный - от мизинца.

По крайне мере, такое подозрение у меня возникло по ознакомлении с парой нижеописываемых проектов

#1

В рамках проекта TapSense, реализованного в университета Карнеги-Меллона, пальцы не различаются; зато серийно производимым планшетным ПК придана способность отличать четыре части пальца: подушечку, кончик, ноготь и костяшку (сиречь сустав меж первой и второй фалангами). Авторы идеи приметили, что разные прикосновения сопровождаются разными звуками с характерными и легко выявляемыми в реальном времени особенностями спектральных характеристик.

В опубликованной ими статье описывается также опыт взаимодействия привлеченных со стороны пользователей с планшетными ПК посредством стилусов и наперстков с набалдашниками из таких разнозвучащих предметов, как шарик для пинг-понга, кусок каучука и т.д. Недостатков у TapSense два: во-первых, выворачивать пальцы то костяшками то подушечками к экрану не очень-то удобно (хотя в вышеупомянутой статье уделено много места анализу результатов, будто бы свидетельствующих, о том, что модернизированный интерфейс подопытные пользователи безусловно предпочитают конвенциональному), а во-вторых ясно что стабильность акустического распознавания катастрофически падает мере того, как совершенствующий мелкомоторные навыки пользователь естественным образом приноравливается экономить энергию и отказывается от щелканий и постукиваний в пользу легких и почти беззвучных прикосновений.

#2

Детище студентов Стэндфордского Университета представляет собой виртуальную клавиатуру шесть клавиш которой перемещаются по экрану, - каждая вслед за "своим" пальцем (в этом, собственно говоря, и заключается оригинальность идеи). Печатать на ней надо, как на клавиатурах стенотипных машинок и прочих аккордовых клавиатурах, одновременно нажимая по нескольку клавиш, ибо каждому символу она ставит в соответствие определенную клавишную комбинацию.

Не уверен, впрочем, что использование слова "оригинальность" в предыдущем абзаце оправдано, ибо демонстрацию весьма похожей разработки в действии я обнаружил на YouTube (автор ролика - словенец с ником radisbruder - утверждает, что идея подвижных виртуальных клавиш принадлежит ему, и что он защитил ее патентом полуторагодичной давности).

В первую очередь эта шестипалая клавиатура, кто бы ни был ее изобретателем, предназначена для слабовидящих, ибо способность неосязаемых в силу своей виртуальности клавиш подстраиваться под текущее положение пальцев устраняет необходимость визуального контроля (не уверен, что значимость этого достоинства следует переоценивать, ибо принцип компенсаторного развития часто придает пальцам слепцов способность двигаться с точностью безупречной). Кроме того, ее раскладка знакома пользователям популярной в субкультуре слепых пишущей машинке Перкинса , предназначеной для набора текстов шрифтом Брайля.

Каждый из 64 (=2^6) символов Брайля, как известно, состоит из шести выпуклых либо плоских элементов; вот почему их удобно вводить шестипалым методом: текущее положение безымянного пальца левой руки определяет состояние левого верхнего элемента вводимого символа; положение среднего пальца - состояние левого среднего элемента, и т.д.



Слишком быстрый "дрейф" пальцев в ходе набора текста, или, к примеру спонтанное желание пользователя изменить ориентацию планшетного ПК (иногда в полевых условиях текст на тачфоне удобнее набирать, отвернув экран от себя, -- как клавиатуру аккордеона) может сбить ПО с толку. В результате самодвижущиеся кнопки "срываются с привязи" и связь меж ними и пальцами нарушается (озвучивающий набираемые буквы синтезатор речи мгновенно оповещает слабовидящего пользователя о произошедшем сбое). Для восстанавливающей связь автоматической рекалибровки достаточно на долю секунды прикоснуться к экрану восемью пальцами (всеми, кроме больших).

Ясно что зрячие тоже с удовольствием ослабили бы зрительный контроль за счет внедрения подвижных интерфейсных элементов, оказывающихся в нужное время под нужным пальцем. Однако аккордовые клавиатуры кажутся единственным (и, конечно, глубоко нишевым) классом приложений, позволяющих внедрить этот принцип с практической пользой.

Кажется, что для полного избавления от недостатков, препятствующих коммерциализации описанных проектов, им недостает одного: способности получать информацию о текущей форме и положении кисти пользователя. И то сказать, тач-гаджеты, воспринимаемые пользователями как продолжение собственного тела, взаимодействуют с кистью столь тесно и непосредственно, что их неосведомленность об этой информации кажется все более противоестественной. Тачфон, HD-видеокамера которого во многих аспектах превосходит возможности человеческого зрения, пребывает в полном неведении относительно того, каким из пальцем пользователь егокасается, по-моему это выглядит абсурдно.

Собственно говоря, одна из ОСК-технологий уже была представлена общественности, - это BiDi-дисплей, наделавший много шуму на прошлогодних выставках, но затем куда-то исчезнувший с информационных радаров. Можно предположить, что коммерциализация этой технологии сдерживается диктуемой ею необходимостью существенного утолщения экранов (а т.ж. некоторого уменьшения их яркости).

Поэтому предположу, что первые ОСК-технологии будут реализованы на каких-то других принципах. Не знаю, на каких. Эхолокация, ультразвуковое зондирование, сенсорные экраны емкостного типа, способные благодаря каким-то усовершенствованиям реагировать не только на прикосновение, но и на приближение различных участков руки к их поверхности... интересно было бы посвятить этому вопросу мозговой штурм.

Одним из прямолинейных решений могла бы стать установка по периметру экрана одной или нескольких миниатюрных и дешевых камер. Чтобы они не мешали при транспортировке выключенного гаджета, их можно упрятать в колпаки, утапливаемые на манер прячущихся передних фар старых спортивных автомобилей. Камеры эти позволят получать изображения вроде такого.

Обработка полученных с одного или нескольких ракурсов изображений руки (возможно, подсвечиваемой "матроской", которая  может проецироваться одним или несколькими проекторами и быть инфракрасной, чтобы не отвлекать пользователя), вероятно, позволит выполнять ОСК c точностью, достаточной, для того, чтобы разобраться в пяти пальцах (аптекарская точность тут, конечно, не нужна).

ОСК существенно разнообразит набор жестов и позволит реализовать различные отклики элементов интерфейса на прикосновения разных пальцев. Пусть, к примеру, прикосновение к ссылке указательным пальцем вызывает переход к ней; безымянным - фоновую загрузку странички в новой вкладке; мизинцем - открытие контекстного меню. "Щелчки" средним пальцем пусть игнорируются, ибо его я предлагаю во всех без исключения приложениях зарезервировать для прокрутки и панорамирования. Игнорирование прикосновений ребром и нижней частью ладони - средство, позволяющее использовать экран в качестве опоры (это преимущество оценят пользователи больших планшетов, изнуренные необходимостью то и дело держать руки на весу для предотвращения ложных срабатываний).