В статье, опубликованной в Трудах 37-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса , исследователями из Института взаимодействия человека и компьютера при Университете Карнеги — Меллона, представлен EgoTouch — инструмент, который использует искусственный интеллект для управления интерфейсами дополненной и виртуальной реальности посредством прикосновения пальца к коже.
В конечном итоге команда хотела разработать элемент управления, который обеспечивал бы тактильную обратную связь, используя только датчики, поставляемые со стандартной гарнитурой дополненной/виртуальной реальности.
OmniTouch, предыдущий метод, разработанный Крисом Харрисоном, доцентом HCII и директором Future Interfaces Group, был близок к этому. Но этот метод требовал специальной, неуклюжей камеры с датчиком глубины. У Вимала Моллина, аспиранта, которого консультировал Харрисон, возникла идея использовать алгоритм машинного обучения для обучения обычных камер распознаванию прикосновений.
«Попробуйте взять палец и посмотреть, что произойдет, когда вы коснетесь им кожи. Вы заметите, что есть эти тени и локальные деформации кожи, которые возникают только тогда, когда вы касаетесь кожи», — сказал Моллин. «Если мы можем их увидеть, то мы можем обучить модель машинного обучения делать то же самое, и это, по сути, то, что мы сделали».
Mollyn собрал данные для EgoTouch, используя специальный сенсорный датчик, который проходил по нижней стороне указательного пальца и ладони. Датчик собирал данные о различных типах прикосновений с разной силой, оставаясь невидимым для камеры. Затем модель научилась соотносить визуальные особенности теней и деформаций кожи с прикосновением и силой без человеческого комментария.
Команда расширила сбор данных для обучения, включив в него 15 пользователей с разным тоном кожи и густотой волос, и собрала многочасовые данные по различным ситуациям, видам деятельности и условиям освещения.
EgoTouch может определять прикосновения с точностью более 96% и имеет уровень ложных срабатываний около 5%. Он распознает нажатие вниз, поднятие вверх и перетаскивание. Модель также может классифицировать, было ли прикосновение легким или сильным, с точностью 98%.
«Это может быть очень полезно для реализации функции щелчка правой кнопкой мыши по скину», — сказал Моллин.
Обнаружение изменений в касании может позволить разработчикам имитировать жесты сенсорного экрана на коже. Например, смартфон может распознавать прокрутку вверх или вниз страницы, увеличение масштаба, смахивание вправо или нажатие и удерживание значка. Чтобы перевести это в интерфейс на основе кожи, камера должна распознавать тонкие различия между типом касания и силой прикосновения.
Точность была примерно одинаковой для разных тонов кожи и густоты волос, а также для разных участков руки и предплечья, таких как передняя часть руки, задняя часть руки, ладонь и тыльная часть руки. Система не очень хорошо работала на костных участках, таких как суставы пальцев.
«Вероятно, это потому, что в этих областях не было такой сильной деформации кожи», — сказал Моллин. «Как дизайнер пользовательского интерфейса, вы можете избегать размещения элементов в этих областях».
Моллин изучает способы использования камер ночного видения и ночного освещения, чтобы система EgoTouch могла работать в темноте. Он также сотрудничает с исследователями, чтобы распространить этот метод обнаружения прикосновений на поверхности, отличные от кожи.
«Впервые у нас есть система, которая просто использует камеру , которая уже есть во всех гарнитурах. Наши модели не требуют калибровки и работают сразу из коробки», — сказал Моллин. «Теперь мы можем отталкиваться от предыдущей работы над интерфейсами на коже и фактически делать их реальными».
