Как нам усовершенствовать мультитач-интерфейс?

При работе с клавиатурой десятипалым методом производительность оказывается примерно на порядок большей, нежели при печатании одним пальцем; увы, в случае с мультитач-интерфейсами, удесятеряющими количество точек контакта с экраном, этот принцип почему-то не срабатывает. Т.е. всерьез никто эту аналогию и не воспринимал, но она, так сказать, осеняла коллективное подсознание потребителя, исподволь питала его надеждами; и вот теперь, по прошествии 4 лет, -- а это знаменательный срок, соответствующий продолжительности президентского правления, в течение коего в народном уме вызревают определенные мнения насчет подкинутых сверху идей и насчет оправданности возложенных ожиданий...

Так вот, 4 года спустя после выхода iPhone и Microsoft Surface, донесших 35-летней давности идею до массового рынка, профессионалы, ценящие производительность выше вау-эффекта, не спешат расставаться с сингл-тач мышками и графическими планшетами. Мультитач-интерфейсы прочно увязли в рекреационной зоне.

Возможно поэтому наблюдается активизация попыток их усовершенствования: недавно мы с коллегой приметили две публикации, относительно которых уже не сказать, что новое - это хорошо забытое старое.

1. Touch-enhanced moton sensing (или moton-enhanced touch sensing).
Авторы этой концепции, разрабатываемой под эгидой Micrsoft Research, пытаются систематизировать подход к проектированию интерфейсов, основанных на жестах, сочетающих прикосновения к сенсорному экрану мобильного устройства с перемещением его корпуса.

К примеру:
- постукивание большим пальцем, сопровождаемое легким наклоном корпуса смартфона вниз, может интерпретироваться как запрос на уменьшение изображения; постукивание же, сопровождаемое наклоном вверх, соответственно, вызывает увеличение изображения (конечно, в обоих случаях указываемая точка служит центром масштабирования);
- указав углы прямоугольника, ограничивающего область пользовательского интереса и приопустив корпус устройства вниз, можно выполнить команду cut или crop.
- получаемые от акселерометров сигналы могут использоваться для определения силы и скорости нажатия на экран, что позволяет по-разному интерпретировать сильные и слабые постукивания, поглаживания и пощелкивания.
NB: первый пункт из вышеприведенного списка (описывающий жесты весьма естественные, ибо желая рассмотреть объект крупным и мелким планом мы инстинктивно приближаемся и отстраняемся от него, не так ли) избавляет от комбинации из "щипка" ("pinch") и клика, традиционно применяемой пользователями смартфонов для веб-навигации. При всем своем изяществе трехпалая эта комбинация задействует обе руки (шуйца держит устройство; десница -- совершает над его экраном пассы), и потому плохо приспособлена для работы на весу. Высвобождение одной руки -- существенное преимущество: транспортировка авоськи или возня с дверным ключом -или вождение автомобиля- перестают быть поводом для выхода в оффлайн!

В смысле патентной чистоты, насколько я понимаю, "сенсорно-двигательный интерфейс" может столкнуться с трудностями, ибо его принципы многажды реализованы во множестве приложений. К примеру, в мире iOS известен жест "pinning" ("прикалывание булавкой"): если страницу электронной книги придавить пальцами и одновременно наклонить смартфон, то изображение переворачивается вместе с устройством, что позволяет читать в положении лежа на боку.

Главное преимущество сенсорно-двигательного интерфейса состоит в его реализуемости на существующей аппаратной базе (годится любой мобильник с сенсорным экраном и встроенными акселерометрами), а главный недостаток, имхо, - общее впечатление некоторой несолидности, производимое пользователем на окружающих. Смартфоны Blackberry, ориентированные на солидных бизнесменов -- последний из классов устройств, где такой интерфейс может найти применение, ибо размахивание смартфоном, уподобляющее пользователя подростку с манипулятором Wii в руке, чревато утратой лица.

2. Прикатывание
Традиционные мультитач-экраны не различают принципиально различных способов движения пальца по поверхности, - а именно, не видят разницы меж потиранием и прикатыванием. Меж волокушей и телегой. Поверхность раздаваемой карточной колоды потирается подушечкой большого пальца, а поверхность наклеиваемой на конверт марки - прикатывается... до чего все-таки чужд русский язык передовым технологиям! Если описываемая идея приобретет популярность, то от неуклюжих слов "потирание" и "прикатывание", наверное, придется отказаться ради уродливых заимствований "рокинг" и "раббинг".

Различные способы прикатывания (на арго разработчиков эти жесты называются microlls).

В ходе чтения материалов по теме встречал упоминания о корпусах, чувствительных к изгибанию, скручиванию и продольному смещению ребер. К силе, с которой смартфон охватывается ладонью. А вот
прошлогодний патент на сенсорную панель, с которой можно снимать не только координаты каждого прикосновения, но и его форму (округлую, если пользователь касается дисплея кончиком пальца, эллиптическую, если подушечкой, или крошечную, если постукивает по экрану ногтем). Вообще, разработчики надеются, что проявляя внимание к тонким деталям прикосновений, машина станет лучше понимать человека. Думаю, в перспективе мобильная электроника станет следить за идеомоторными реакциями пользователя, как полиграфы, и воспринимать больше информации, чем он хотел бы сообщить. Понимать его лучше, чем он сам понимает себя. Внушать тревожное чувство пользователям, склонным к мании преследования (им будет казаться, будто за ними следят). Лет 20 тому в публикациях об интерфейсах часто употреблялась не прижившаяся аббревиатура DWIMNWIT (Do What I Mean, Not What I Type) и производный от нее глагол - dwimification; воспользуюсь-ка я случаем и отправолю в плаванье аббревиатуру DWIWNWIM (Do What I Want, Not What I Mean), вдруг ее ждет более яркое будущее.

В заключение призываю комментаторов организовать интерфейсостроительный мозговой штурм. Вспомните: когда и по какому поводу последний раз вам приходилось досадовать на непонятливость смартфона? Вот вам несколько прожектов для затравки (от претензий на приоритет отказываюсь, наверняка это всё не мне первому в голову пришло):
- Сенсорная панель с липкой поверхностью (напр., отделанная какими-то микроприсосочками). В мире интерфейсов они займут то же место, что в мире струнных - щипковые. Не может же моторика пользователя, рассчитанная на взаимодействие с липкими поверхностями, вечно оставаться невостребованным ресурсом? У липких экранов имеются очевидные недостатки, но в рамках мозгового штурма мы будем концентрироваться на преимуществах (исправление недостатков - дело техники). Предвижу появление новых игр, - напр., стратегия "тараканьи бега". Надавив на виде сверху на изображение таракана, пользователь заставит его пробежать под препятствием, а отодрав палец от экрана – перепрыгнуть его.
- По аналогии с дабл кликом двойное прикосновение к экрану в сенсорных интерфейсах называется дабл тэпом. Трипл тэпы иногда используются для копирования текста в буфер обмена. Как назвать вариант подобных жестов, не требующих прерывания контакта пальца с экраном? Дабл памп, дабл пуш?.. Для регистрации таких жестов можно встроить в оправу сенсорной панели MEMS-динамометры. Успешность swype-клавиатур заставляет заподозрить, что обязательность прерывания контакта пальца с экраном - не столько необходимость, сколько пережиток эпохи кнопочных интерфейсов и свидетельство косности мышления разработчиков.
- Отрыв пальца от экрана есть смещение его в измерении Z. Является ли необходимым смещение его в остальных двух измерениях? Те из пользователей ноутбуков, что предпочитают трекпойнт тачпэду, ответят отрицательно. Вставленные в оправу сенсорной панели датчики могут регистрировать не только поперечные, но продольные усилия, благодаря чему в любой точке экрана можно было бы организовать трекпойнт.
- Сменные рельефные прозрачные накладки для различных приложений могут прийтись по вкусу пользователям, неудовлетворенным бедностью тактильных ощущений при работе с сенсорными панелями. С помощью такой накладки на основе iPad можно организовать дешевенькую клавиатуру вроде знаменитой Optimus.
- Одним из существенных недостатков традиционных сенсорных интерфейсов является перекрытие экрана пальцами, габаритами подобными мышиному курсору размером эдак 10х10см. Из-за этого пользователю приходится терять зрительную концентрацию и суетиться, то налагая руку на экран, то убирая ее из поля внимания. Для решения проблемы предлагаю размещать сенсорную панель на тыльной стороне мобильного устройства (дополнительная выгода от физического разделения сенсорной панели и дисплея состоит в изоляции последнего от жиропотовых выделений). Пусть ПО анализирует точки касания [а т.ж. [инфракрасное] излучение ладони] и изображает на экране виртуальные полупрозрачные пальцы (вероятно, степень прозрачности уместно поставить в зависимость от скорости их движения). Некоторых пользователей может отпугнуть невозможность использования такого устройства на столе и необходимость держать управляющую ладонь в обращенном положении. Их вниманию предлагается мобилка нового, "бутербродного" форм-фактора: по легкому нажатию клавиши расстояние меж экраном и сенсорной панелью -- щёлк! -- увеличивается и делается достаточным для просовывания в него ладони.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365