Очки используют сонар и искусственный интеллект для интерпретации поз верхней части тела в 3D.
На протяжении всей истории характерный «пинг» гидролокатора использовался для картографирования океанов, обнаружения подводных лодок противника и поиска затонувших кораблей. Сегодня вариант этой технологии — в миниатюрной форме, разработанный исследователями Корнелла, — меняет правила игры в области носимых технологий определения тела.
PoseSonic — это новейшее носимое устройство , оснащенное сонаром, разработанное корнеллской лабораторией интеллектуальных компьютерных интерфейсов для будущих взаимодействий (SciFi). Он состоит из готовых очков, оснащенных микролокатором, который может отслеживать движения верхней части тела пользователя в 3D с помощью комбинации неслышимых звуковых волн и искусственного интеллекта (ИИ).
Исследователи заявили, что при дальнейшем развитии PoseSonic сможет улучшить дополненную реальность и виртуальную реальность , а также отслеживать подробные физические и поведенческие данные для личного здоровья.
«Что меня волнует в PoseSonic, так это возможность его использования для обнаружения детальной человеческой деятельности в дикой природе», — сказал Саиф Махмуд, докторант в области информатики. «Когда у нас есть много данных с помощью технологий определения тела, таких как PoseSonic, это может помочь нам более внимательно относиться к себе и своему поведению».
Махмуд является ведущим автором книги « PoseSonic: 3D-оценка позы верхней части тела посредством эгоцентрического акустического зондирования на умных очках », которая была представлена 10 октября на совместной конференции Pervasive and Ubiquitous Computing (Ubicomp) и Международного симпозиума по носимым вычислениям (ISWC) в Канкун, Мексика.
«Мы первая исследовательская группа, использующая бесшумную акустику и искусственный интеллект для отслеживания поз тела с помощью носимого устройства», — сказал старший автор Ченг Чжан, доцент кафедры информатики в Корнеллском колледже вычислительной техники и информатики Энн С. Бауэрс и директор. лаборатории научной фантастики. «Интегрируя передовой искусственный интеллект в маломощные , недорогие и обеспечивающие конфиденциальность акустические системы, мы используем меньше инструментов на теле, что более практично, а производительность аккумулятора значительно улучшается при повседневном использовании».
У PoseSonic есть две пары крошечных микрофонов и динамиков — каждый диаметром с карандаш, прикрепленных к петлям очков. Динамики излучают неслышимые звуковые волны, которые отражаются от верхней части тела и возвращаются к микрофонам, создавая изображение профиля эха. Это изображение передается в алгоритм машинного обучения PoseSonic, который оценивает позу тела с почти идеальной точностью. По словам исследователей, в отличие от других носимых систем отслеживания позы, управляемых данными, PoseSonic хорошо работает без первоначального обучения пользователя.
По словам исследователей , система может оценивать движения тела в девяти суставах тела, включая плечи, локти, запястья, бедра и нос, что полезно для оценки положения головы.
Эта технология является серьезным шагом вперед по сравнению с существующими носимыми устройствами, для которых часто требуется мини-видеокамера, что не всегда практично. Исследователи заявили, что современные носимые устройства с видеокамерами также требуют значительного заряда батареи и создают проблемы конфиденциальности . Акустическое зондирование требует минимальной мощности — в 10 раз меньше, чем у носимой камеры. По словам исследователей, благодаря этой технологии носимые устройства становятся гораздо меньшими и ненавязчивыми.
Кроме того, добавили они, риск конфиденциальности при использовании сонара гораздо меньше.
«Носимая видеокамера представляет угрозу конфиденциальности для всех, кто находится рядом с ее владельцем», — сказал Махмуд. «Наше решение: давайте создадим вокруг нас небольшое неслышимое акустическое поле, которое сможет отслеживать движения нашего тела, сохраняя при этом конфиденциальность других людей».
