Новый смарт-скин, разработанный в Стэнфордском университете, может предвещать день, когда люди будут печатать на невидимых клавиатурах, идентифицировать объекты только на ощупь или позволят пользователям общаться жестами рук с приложениями в иммерсивных средах.

В только что опубликованной статье в журнале Nature Electronics исследователи описывают новый тип эластичного биосовместимого материала, который распыляется на тыльную сторону ладони , как спрей для загара. В сетку встроена крошечная электрическая сеть, которая ощущает, как кожа растягивается и изгибается, и с помощью ИИ исследователи могут интерпретировать множество повседневных задач на основе движений рук и жестов. Исследователи говорят, что это может найти применение в таких областях, как игры, спорт, телемедицина и робототехника.

До сих пор активно изучались несколько многообещающих методов, таких как измерение электрической активности мышц с помощью браслетов или перчаток, позволяющих выполнять различные действия руками и жестикулировать. Однако эти устройства громоздки, поскольку для точного определения движений в каждом отдельном суставе необходимо несколько сенсорных компонентов. Более того, для обучения алгоритма необходимо собрать большой объем данных по каждому пользователю и задаче. Эти проблемы затрудняют внедрение таких устройств в качестве электроники повседневного использования.

Эта работа является первым практическим подходом, который является одновременно достаточно компактным по форме и достаточно адаптируемым по функциям, чтобы работать практически для любого пользователя — даже с ограниченными данными. Современные технологии требуют нескольких сенсорных компонентов для считывания каждого сустава пальца, что делает их громоздкими. Новое устройство также использует более компактный подход к программному обеспечению, чтобы обеспечить более быстрое обучение. Такая точность может быть ключевой в приложениях виртуальной реальности для передачи мельчайших деталей движений для более реалистичного восприятия.

Инновацией, обеспечивающей возможность, является напыляемая электрически чувствительная сетчатая сеть, встроенная в полиуретан — тот же прочный, но эластичный материал, который используется для изготовления колес для скейтборда и для защиты деревянных полов от повреждений. Сетка состоит из миллионов нанопроволок из серебра, покрытых золотом, которые контактируют друг с другом, образуя динамические электрические пути. Эта сетка электрически активна, биосовместима, воздухопроницаема и остается на месте, если ее не протереть водой с мылом. Он точно соответствует морщинам и складкам каждого человеческого пальца, который его носит. Затем к сетке можно просто подключить легкий Bluetooth-модуль, который может передавать изменения сигнала по беспроводной сети.

«По мере того как пальцы сгибаются и скручиваются, нанопроволоки в сетке сжимаются и растягиваются, изменяя электропроводность сетки. Эти изменения можно измерить и проанализировать, чтобы точно сказать нам, как движется рука, палец или сустав. », — объяснил Женан Бао, профессор химического машиностроения К. К. Ли и старший автор исследования.

Исследователи выбрали метод распыления непосредственно на кожу, чтобы сетка поддерживалась без подложки. Это ключевое инженерное решение устранило нежелательные артефакты движения и позволило использовать одну трассу проводящей сетки для получения информации о нескольких суставах пальцев.

Спрей-характер устройства позволяет ему соответствовать руке любого размера или формы, но открывает возможность того, что устройство может быть адаптировано к лицу, чтобы улавливать тонкие эмоциональные сигналы. Это может открыть новые подходы к компьютерной анимации или привести к новым виртуальным встречам под руководством аватара с более реалистичными выражениями лица и жестами рук .

Затем в дело вступает машинное обучение. Компьютеры отслеживают изменяющиеся модели проводимости и сопоставляют эти изменения с конкретными физическими задачами и жестами. Например, введите X на клавиатуре, и алгоритм научится распознавать эту задачу по изменяющимся моделям электропроводности. Как только алгоритм соответствующим образом обучен, физическая клавиатура больше не нужна. Те же принципы можно использовать для распознавания языка жестов или даже для распознавания объектов путем отслеживания их внешних поверхностей.

И хотя существующие технологии требуют больших вычислительных ресурсов и огромных объемов данных, которые люди должны кропотливо маркировать — вручную, если хотите, — команда из Стэнфорда разработала схему обучения, которая гораздо более эффективна в вычислительном отношении.

«Мы представили аспекты человеческого обучения, которые быстро адаптируются к задачам с помощью всего нескольких испытаний, известных как «метаобучение». Это позволяет устройству быстро распознавать произвольные новые ручные задачи и пользователей с помощью нескольких быстрых испытаний», — сказал Кьюн Кью «Ричард» Ким, научный сотрудник лаборатории Бао, который является первым автором исследования.

«Более того, это удивительно простой подход к этой сложной задаче, который означает, что мы можем ускорить вычислительную обработку с меньшим объемом данных, поскольку наша наносетка улавливает тонкие детали в своих сигналах», — добавил Ким. Точность, с которой устройство может отображать тонкие движения пальцев, является одной из главных особенностей этой инновации.

Исследователи создали прототип, который распознает простые объекты на ощупь и даже может выполнять предиктивную печать двумя руками на невидимой клавиатуре. Алгоритм смог напечатать «Нет такого богатого наследия, как честность» из Уильяма Шекспира и «Я хозяин своей судьбы, я капитан своей души» из стихотворения Уильяма Эрнеста Хенли «Invictus».