Исследователи из Корнелла разработали браслет, который постоянно определяет положение руки, а также объекты, с которыми она взаимодействует, используя неслышимые звуковые волны на базе искусственного интеллекта.
Потенциальные приложения включают отслеживание положения рук для систем виртуальной реальности (VR), управление смартфонами и другими устройствами с помощью жестов рук и понимание действий пользователя; например, приложение для приготовления пищи может озвучивать рецепт, пока пользователь нарезает, измеряет и перемешивает. Эта технология достаточно мала, чтобы поместиться в коммерческие умные часы, и работает весь день от стандартной батареи для умных часов.
EchoWrist — это одна из новейших маломощных технологий отслеживания позы тела, разработанная лабораторией интеллектуальных компьютерных интерфейсов для будущих взаимодействий (SciFi). Лабораторией руководит Ченг Чжан, доцент кафедры информатики Корнеллского колледжа вычислительной техники и информатики имени Энн С. Бауэрс.
«Рука имеет фундаментальное значение: все, что вы делаете, почти всегда связано с руками», — сказал Чжан. «Это устройство предлагает решение, которое позволяет недорого и очень точно непрерывно отслеживать положение вашей руки».
Чи-Юнг Ли и Жуйдун Чжан, аспиранты в области информатики и соавторы, представят исследование под названием «EchoWrist: непрерывное отслеживание положения руки и распознавание взаимодействия руки и объекта с использованием маломощного активного акустического зондирования». браслет» на конференции Ассоциации вычислительной техники CHI по человеческому фактору в вычислительных системах (CHI’24), 11-16 мая.
Работа опубликована на сервере препринтов arXiv.
EchoWrist также позволяет пользователям управлять устройствами с помощью жестов и проводить презентации.
«Мы можем улучшить наше взаимодействие с умными часами или даже другими устройствами, разрешив взаимодействие одной рукой — мы также можем удаленно управлять нашим смартфоном», — сказал Ли. «Я могу управлять слайдами с помощью жестов одной рукой».
По словам Жуйдуна Чжана, это первый раз, когда лаборатория расширила свои технологии за пределы тела. «EchoWrist отслеживает не только саму руку, но также объекты и окружающую среду».
Устройство использует два крошечных динамика, установленных сверху и снизу браслета, для отражения неслышимого звука от руки и любых ручных предметов. Два соседних микрофона улавливают эхо, которое интерпретируется микроконтроллером. Батарея меньше четверти питает устройство.
Команда разработала модель искусственного интеллекта, вдохновленную нейронами мозга, называемую нейронной сетью, которая интерпретирует положение рук пользователя на основе получаемого эха. Для обучения нейронной сети они сравнили эхо-профили и видео пользователей, делающих различные жесты, и реконструировали положения 20 суставов рук на основе звуковых сигналов.
С помощью 12 добровольцев исследователи проверили, насколько хорошо EchoWrist распознает такие предметы, как чашка, палочки для еды, бутылка с водой , кастрюля, сковорода и чайник, а также такие действия, как питье, помешивание, очистка, скручивание, измельчение и разливание. В целом устройство имело точность 97,6%. Эта возможность позволяет пользователям следовать интерактивным рецептам, которые отслеживают прогресс повара и зачитывают следующий шаг, поэтому повара могут избежать загрязнения своих экранов.
В отличие от FingerTrak , предыдущей технологии отслеживания рук от SciFi Lab, в которой использовались камеры, EchoWrist намного меньше и потребляет значительно меньше энергии.
«Важным дополнительным преимуществом акустического отслеживания является то, что оно действительно повышает конфиденциальность пользователей, обеспечивая при этом такой же уровень производительности, как и отслеживание камерой», — сказал соавтор Франсуа Гимбретьер, профессор информатики в Cornell Bowers CIS и кафедре технологий дизайна нескольких колледжей. .
Эту технологию можно использовать для воспроизведения движений рук в приложениях виртуальной реальности. Существующие системы виртуальной реальности и дополненной реальности решают эту задачу с помощью камер, установленных на гарнитуре, но этот подход потребляет много энергии и не может отслеживать руки, когда они покидают ограниченное поле зрения гарнитуры.
«Одно из самых интересных применений этой технологии — позволить ИИ понимать деятельность человека, отслеживая и интерпретируя позы рук в повседневной деятельности», — сказал Ченг Чжан.
Однако исследователи отметили, что EchoWrist все еще с трудом различает объекты очень похожей формы, такие как вилка и ложка. Но команда уверена, что распознавание объектов улучшится по мере совершенствования технологии. Они полагают, что при дальнейшей оптимизации EchoWrist можно будет легко интегрировать в существующие готовые умные часы.
