Вероятно, вы встречали кого-то, кто идентифицирует себя как зрительного или слухового ученика, но другие усваивают знания другим способом: прикосновением. Способность понимать тактильные взаимодействия особенно важна для таких задач, как обучение тонким операциям и игра на музыкальных инструментах, но в отличие от видео и аудио, прикосновения трудно записывать и передавать.
Чтобы решить эту задачу, исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и других организаций разработали вышитую умную перчатку, которая может захватывать, воспроизводить и передавать сенсорные инструкции.
В дополнение к носимому устройству команда также разработала простой агент машинного обучения, который адаптируется к тому, как разные пользователи реагируют на тактильную обратную связь , оптимизируя их работу. Новая система потенциально может помочь обучить людей физическим навыкам, улучшить отзывчивость телеуправления роботов и помочь в обучении в виртуальной реальности.
Статья в открытом доступе с описанием работы была опубликована в журнале Nature Communications 29 января.
Смогу ли я играть на фортепиано?
Чтобы создать свою умную перчатку, исследователи использовали цифровую вышивальную машину, позволяющую легко встроить тактильные датчики и тактильные приводы (устройство, обеспечивающее сенсорную обратную связь) в текстиль. Эта технология присутствует в смартфонах, где тактильные реакции запускаются при касании сенсорного экрана.
Например, если вы нажмете на приложение iPhone, вы почувствуете легкую вибрацию, исходящую от этой конкретной части экрана. Точно так же новое адаптивное носимое устройство отправляет обратную связь различным частям вашей руки, указывая оптимальные движения для выполнения различных навыков.
Умная перчатка могла бы, например, научить пользователей играть на пианино. В ходе демонстрации эксперту было поручено записать простую мелодию на клавиатуре, используя умную перчатку, чтобы зафиксировать последовательность нажатия пальцев на клавиатуру. Затем агент машинного обучения преобразовал эту последовательность в тактильную обратную связь, которая затем передавалась в перчатки студентов, чтобы те следовали инструкциям.
Когда их руки зависли над той же секцией, на пальцах вибрировали приводы, соответствующие клавишам внизу. Конвейер оптимизирует эти направления для каждого пользователя, учитывая субъективный характер сенсорного взаимодействия.
«Люди решают самые разнообразные задачи, постоянно взаимодействуя с окружающим миром», — говорит Июэ Луо MS ’20, ведущий автор статьи, доктор философии. студент факультета электротехники и информатики Массачусетского технологического института (EECS) и филиал CSAIL. «Обычно мы не делимся этим физическим взаимодействием с другими. Вместо этого мы часто учимся, наблюдая за их движениями, например, при игре на фортепиано или танцевальных программах».
«Основная проблема при передаче тактильных взаимодействий заключается в том, что каждый воспринимает тактильную обратную связь по-разному», — добавляет Луо. «Этот контрольно-пропускной пункт вдохновил нас на разработку агента машинного обучения, который учится генерировать адаптивные тактильные ощущения для перчаток людей, знакомя их с более практическим подходом к изучению оптимального движения».
Носимая система настраивается в соответствии с характеристиками руки пользователя с помощью цифрового метода изготовления. Компьютер производит вырез на основе измерений рук человека; затем вышивальная машина сшивает датчики и тактильные элементы. Через 10 минут мягкое носимое устройство на тканевой основе готово к ношению. Адаптивная модель машинного обучения, первоначально обученная на тактильных реакциях 12 пользователей, требует всего 15 секунд новых пользовательских данных для персонализации обратной связи.
В двух других экспериментах тактильные указания с чувствительной ко времени обратной связью передавались пользователям в перчатках во время игры на ноутбуке. В ритм-игре игроки учились следовать по узкой извилистой дорожке, чтобы наткнуться на ворота, а в гоночной игре водители собирали монеты и поддерживали баланс своего автомобиля на пути к финишу.
Команда Луо обнаружила, что участники получали самые высокие игровые баллы благодаря оптимизированным тактильным ощущениям, а не без тактильных ощущений и с неоптимизированными тактильными ощущениями.
«Эта работа — первый шаг к созданию персонализированных агентов искусственного интеллекта, которые непрерывно собирают данные о пользователе и окружающей среде», — говорит старший автор Войцех Матусик, профессор электротехники и информатики Массачусетского технологического института и руководитель группы вычислительного проектирования и производства в CSAIL. «Эти агенты затем помогают им выполнять сложные задачи , осваивать новые навыки и способствовать лучшему поведению».
Привнесение реалистичности в электронные настройки
В ходе роботизированной телеоперации исследователи обнаружили, что их перчатки могут передавать ощущения силы роботизированным рукам, помогая им выполнять более деликатные задачи по захвату.
«Это похоже на попытку научить робота вести себя как человек», — говорит Луо. В одном случае команда Массачусетского технологического института использовала людей-телеоператоров, чтобы научить робота хранить различные виды хлеба, не деформируя их. Обучая оптимальному захвату, люди смогут точно управлять роботизированными системами в таких средах, как производство, где эти машины смогут более безопасно и эффективно взаимодействовать со своими операторами.
«Технология, используемая в вышитых умных перчатках, является важной инновацией для роботов», — говорит Даниэла Рус, профессор электротехники и информатики Массачусетского технологического института (1956) и Эрна Витерби, директор CSAIL и автор статьи.
«Благодаря способности фиксировать тактильные взаимодействия с высоким разрешением, подобным человеческой коже, этот датчик позволяет роботам воспринимать мир через прикосновение. Бесшовная интеграция тактильных датчиков в текстильные изделия устраняет разрыв между физическими действиями и цифровой обратной связью, предлагая огромный потенциал в области текстиля. дистанционное управление отзывчивыми роботами и обучение иммерсивной виртуальной реальности».
Аналогично, интерфейс может создать более захватывающий опыт в виртуальной реальности. Ношение умных перчаток добавит тактильных ощущений в цифровую среду видеоигр, где геймеры смогут чувствовать свое окружение, чтобы избежать препятствий. Кроме того, интерфейс обеспечит более персонализированный и сенсорный опыт на виртуальных курсах обучения, используемых хирургами, пожарными и пилотами, где точность имеет первостепенное значение.
Хотя эти носимые устройства могут предоставить пользователям больше практического опыта, Луо и ее группа полагают, что они могут расширить возможности своих носимых технологий за пределы пальцев. Благодаря более сильной тактильной обратной связи интерфейсы могут направлять ступни, бедра и другие части тела, менее чувствительные, чем руки.
Луо также отметила, что с более сложным агентом искусственного интеллекта технологии ее команды могут помочь в решении более сложных задач, таких как манипулирование глиной или вождение самолета. В настоящее время интерфейс поддерживает только простые движения, такие как нажатие клавиши или захват объекта. В будущем система MIT сможет включать больше пользовательских данных и производить более конформные и плотные носимые устройства, чтобы лучше учитывать, как движения рук влияют на тактильное восприятие.
