Используя миниатюрную камеру и специализированную глубокую нейронную сеть, исследователи из Корнелла разработали первый в своем роде браслет, который отслеживает все положение тела в 3D.

BodyTrak — первое носимое устройство, которое отслеживает положение всего тела с помощью одной камеры. В случае интеграции в будущие умные часы BodyTrak может изменить правила игры в мониторинге механики тела пользователя при физической активности , где точность имеет решающее значение, сказал Ченг Чжан, доцент кафедры информатики и старший автор статьи.

«Поскольку в умных часах уже есть камера, такие технологии, как BodyTrak, могут распознавать позу пользователя и давать обратную связь в режиме реального времени», — сказал Чжан. «Это удобно, доступно и не ограничивает область перемещения пользователя».

Соответствующий документ «BodyTrak: вывод поз всего тела из силуэтов тела с помощью миниатюрной камеры на браслете» был опубликован в Proceedings of the Association for Computing Machinery (ACM) по интерактивным, мобильным, носимым и вездесущим технологиям и представлен в сентябре на UbiComp 2022, международной конференции ACM по всепроникающим и вездесущим вычислениям.

BodyTrak — это новейшая система распознавания тела от SciFiLab, расположенной в Колледже вычислительной техники и информатики Корнелла Энн С. Бауэрс — группы, которая ранее разработала и использовала аналогичные модели глубокого обучения для отслеживания движений рук и пальцев, выражения лица и даже распознавание немой речи.

Секрет BodyTrak не только в камере размером с монетку на запястье, но и в настраиваемой глубокой нейронной сети, стоящей за ней. Эта глубокая нейронная сеть — метод искусственного интеллекта, который обучает компьютеры учиться на ошибках — считывает элементарные изображения камеры или «силуэты» тела пользователя в движении и виртуально воссоздает 14 поз тела в 3D и в реальном времени.

Другими словами, модель точно заполняет и дополняет частичные изображения, снятые камерой, — сказал Хюнчул Лим, докторант в области информатики и ведущий автор статьи.

«Наше исследование показывает, что нам не нужно, чтобы наши тела были полностью в поле зрения камеры для восприятия тела», — сказал Лим. «Если мы сможем захватить только часть нашего тела, это будет много информации для реконструкции всего тела».

По словам Чжан и Лим, сохранение конфиденциальности для посторонних, находящихся рядом с кем-то, кто носит такое сенсорное устройство, является законной задачей при разработке этих технологий. Они сказали, что BodyTrak смягчает проблемы с конфиденциальностью для посторонних, поскольку камера направлена ​​​​на тело пользователя и собирает только частичные изображения тела пользователя.

Они также признают, что сегодняшние смарт-часы еще не имеют небольших или достаточно мощных камер и достаточного времени автономной работы, чтобы интегрировать датчики всего тела, но они могут появиться в будущем.