Новая модель, которая позволяет роботам повторно идентифицировать пользователей-людей и следить за ними.
В последние годы робототехники и компьютерщики представили различные новые вычислительные инструменты, которые могут улучшить взаимодействие между роботами и людьми в реальных условиях. Основная цель этих инструментов — сделать роботов более отзывчивыми и адаптированными к пользователям, которым они помогают, что, в свою очередь, может способствовать их широкому распространению.
Исследователи из Leonardo Labs и Итальянского технологического института (IIT) в Италии недавно представили новую вычислительную структуру, которая позволяет роботам распознавать конкретных пользователей и следовать за ними в заданной среде. Эта структура, представленная в документе, опубликованном в рамках Международной конференции IEEE по передовой робототехнике и ее социальному влиянию (ARSO) 2023 года, позволяет роботам повторно идентифицировать пользователей в их окружении, а также выполнять определенные действия в ответ на жесты рук, выполняемые роботом.
«Мы стремились создать революционную демонстрацию, чтобы привлечь заинтересованные стороны в наши лаборатории», — рассказал Федерико Ролло, один из исследователей, проводивших исследование. «Робот, следящий за человеком, является распространенным приложением, которое можно найти во многих коммерческих мобильных роботах, особенно в промышленных условиях или для оказания помощи отдельным людям. Обычно такие алгоритмы используют внешние излучатели Bluetooth или Wi-Fi, которые могут создавать помехи для других датчиков, и пользователю требуется нести.»
Ключевой целью недавней работы Ролло и его коллег было создание модели повторной идентификации, которая могла бы распознавать конкретные цели на изображениях, записанных камерой RGB. Камеры RGB являются одними из наиболее часто используемых датчиков в области робототехники, поэтому их очень легко найти и интегрировать с существующими роботизированными системами.
«Разработанный нами модуль повторной идентификации состоит из двух последовательных этапов: этапа калибровки и этапа повторной идентификации», — пояснил Ролло.
«На этапе калибровки целевому человеку предлагается беспорядочно перемещаться перед роботом. На этом этапе робот использует нейронную сеть для обнаружения человека и изучения его внешнего вида в форме сетевых вложений (представьте себе абстрактный вектор представляющие черты человека). Эти вложения затем используются для создания статистической модели, которая представляет цель».
На втором этапе обработки модуль, созданный исследователями, повторно идентифицирует цели, когда они естественным образом движутся в своем окружении. Платформа достигает этого путем анализа изображений, полученных одной или несколькими камерами RGB, обнаружения людей на этих изображениях, вычисления их характеристик и сравнения этих характеристик с теми, которые указаны в модели целевого пользователя, созданной на этапе калибровки.
«Если определенные характеристики статистически соответствуют модели, в качестве цели выбирается человек с этими характеристиками», — сказал Ролло. «Эта информация затем отправляется в модуль локализации, который вычисляет трехмерное положение целевого пользователя и отправляет команды скорости роботу, чтобы тот двигался к нему/ней. Кроме того, приложение включает в себя модуль обнаружения жестов».
Модель обнаружения жестов, созданная Ролло и его коллегами, обнаруживает определенные жесты рук целевого пользователя и отправляет команды роботу, соответствующие этим жестам. Например, если пользователь помещает открытую ладонь в поле зрения робота, это вызывает команду остановки, дающую роботу команду остановиться. И наоборот, если пользователь поднесет закрытую руку, робот снова начнет работать.
На данный момент исследователи протестировали свою систему в серии экспериментов с использованием робота Robotnik RB-Kairos+. Это мобильный робот-манипулятор, предназначенный в первую очередь для использования в промышленных условиях, таких как склады и производственные площадки.
«Модуль повторной идентификации продемонстрировал замечательную надежность во время испытаний даже в людных местах», — сказал Ролло. «Такое надежное поведение открывает различные практические применения. Например, его можно использовать для перемещения объектов с высокой нагрузкой в промышленных условиях, для направления робота к различным станциям в совместной или промышленной среде или для помощи пожилым людям в перемещении своих вещей в пределах дом.»
Новая система повторной идентификации и обнаружения жестов, разработанная этой командой исследователей, вскоре может быть применена и дополнительно протестирована в различных реальных сценариях, которые требуют, чтобы мобильные роботы следовали за людьми и автономно перевозили предметы. Однако прежде чем ее можно будет развернуть в больших масштабах, Ролло и его коллеги планируют преодолеть некоторые ограничения модели, выявленные в ходе их первоначальных экспериментов.
«Одним из заметных ограничений является то, что статистическая модель , полученная на этапе калибровки, остается постоянной во время повторной идентификации», — добавил Ролло.
«Это означает, что если цель меняет свой внешний вид, например, надев другую одежду, алгоритм не может адаптироваться и требует повторной калибровки. Кроме того, существует выраженный интерес к изучению новых подходов к адаптации самой нейронной сети для распознавания цели. , потенциально используя методы непрерывного обучения. Это может улучшить статистическое соответствие между целевой моделью и функциями, извлеченными из изображений RGB, обеспечивая более адаптивную и гибкую систему».