Новая система захвата движения с роботизированным маркером, которая может улучшить взаимодействие человека и робота.
Системы захвата движения (mocap) — технологии, способные обнаруживать и записывать движения людей, животных и объектов, — широко используются в различных условиях. Например, они использовались для съемки фильмов, создания анимации с реалистичными движениями губ и тела, в интерактивных игровых консолях или даже для управления роботами.
Исследователи Сколковского института науки и технологий (Сколтех) в России недавно разработали новую систему захвата движения , которая может обеспечить более безопасное и эффективное взаимодействие человека и робота. Эта система, представленная в статье, предварительно опубликованной на arXiv , основана на носимой роботизированной системе и камере для отслеживания движений руки пользователя.
«Эта работа стала результатом многолетних исследований в области взаимодействия человека и робота в лаборатории интеллектуальной космической робототехники (ISR)», — сказал Tech Xplore Али Аббас, ключевой исследователь проекта. «Взаимодействие человека и робота связано с совместными задачами, в которых участвуют как люди, так и роботы, поэтому безопасность человека-оператора является главным приоритетом в таких приложениях. Работа была построена на предыдущем опыте и технологиях, разработанных в нашей лаборатории».
Система mocap, представленная этой группой исследователей, черпает вдохновение из двух ранее разработанных ими технологий. Первая — это система под названием CobotGear , которая использует носимую камеру с 6 степенями свободы для отслеживания движения руки человека. Второй, CoHaptics , использует тактильную (связанную с прикосновением) обратную связь, чтобы предоставить пользователям информацию об их расстоянии до робота и предупредить их, когда робот приблизится к ним.
«Одной из целей нашей работы является разработка недорогой и простой в установке системы Mocap, которая обнаруживает и локализует руку пользователя в рабочей среде, используя алгоритм, лежащий в основе функционирования CobotGear, чтобы избежать столкновений между роботом и пользователем. поскольку они выполняют совместные задачи», — пояснил Аббас. «Предлагаемая мокап-система основана на зрении. Она использует камеры и компьютерное зрение для обнаружения уникального визуального роботизированного маркера, прикрепленного к руке пользователя (цель для нашей мокап-системы)».
Общим ограничением мокап-систем является то, что на них могут отрицательно влиять окклюзии. Другими словами, если визуальный маркер, за которым следит система, частично или полностью скрыт за объектом, система больше не может его отслеживать. Аббас и его коллеги решили устранить это ограничение, уменьшив риск окклюзии.
«Наша идея состояла в том, чтобы разработать механизм, который мог бы перемещать маркер, гарантируя, что он всегда останется видимым для системы мокапа», — сказал Аббас. «Наше решение состояло в том, чтобы построить небольшого носимого робота, который будет удерживать маркер и иметь возможность вращаться».
Система, созданная этой группой исследователей, основана на роботе, которого пользователи должны носить на предплечье. Этот робот перемещает маркер по-разному, следя за тем, чтобы он всегда оставался в поле зрения встроенной камеры.
«Обычно световозвращающие маркеры мокапа имеют сферическую форму, потому что размер будет одинаковым, если снимать камерами с разных ракурсов», — сказал профессор Дмитрий Тетеруков. «С другой стороны, вам нужно разместить множество маркеров на теле человека и установить дорогие ИК-камеры, чтобы исключить все видимые объекты, кроме сфер, поэтому мокап-системы могут стоить сотни тысяч долларов. Мы предложили ArUcoGlide, доступный и надежное решение для отслеживания движения человеческого тела с помощью недорогой одиночной камеры и даже для общения с пользователем с помощью тактильных сигналов».
Робот ArUcoGlide очень легкий и весит не больше, чем простые наручные часы. Это означает, что пользователи могут легко носить его, не причиняя им дискомфорта. Роботизированная система содержит уникальный маркер, который находится рядом с камерой, обеспечивая ценную обратную связь, направленную на предотвращение столкновений во время взаимодействия человека и робота.
«Система состоит из трех частей: носимого роботизированного маркера, системы слежения и контроллера предотвращения столкновений», — сказал Аббас. «Носимый робот, который мы назвали ArUcoGlide, держит уникальный визуальный маркер и регулирует ориентацию этого маркера, чтобы обеспечить его видимость для камеры и устранять окклюзию объектами в окружающей среде. Робот также может обеспечивать тактильную обратную связь в виде вибрации в в случае возникновения опасной ситуации. Мы предположили, что поддержание фиксированной ориентации между камерой и маркером уменьшит количество моментов, когда маркер не отображается из-за движения пользователя».
Второй компонент мокап-решения команды — система слежения, состоящая из камеры и базового компьютера. Камера фиксирует прямую трансляцию среды, в которой люди сотрудничают с роботами. Затем этот поток обрабатывается базовым компьютером для извлечения координат маркера в окружающей среде.
«Третий компонент, контроллер предотвращения столкновений, был впервые представлен как часть нашей ранее разработанной системы CobotGear», — сказал Аббас. «Этот контроллер управляет движением робота, чтобы избежать потенциальных столкновений с рукой пользователя в рабочей области».
По сути, система команды работает следующим образом. Камера записывает среду, в которой взаимодействуют люди и роботы. Робот AucoGlide регулирует ориентацию маркера, используемого для отслеживания движений, чтобы он всегда оставался в поле зрения камеры. Наконец, контроллер столкновений перемещает робота, чтобы предотвратить его контакт с пользователями.
«Короче говоря, маркер скользит в пространстве с помощью робота с 2 степенями свободы, чтобы непрерывно фиксировать движение тела», — объяснил Цецерукоу. «Если маркер статичен, т. е. не регулирует положение в пространстве, система слежения потеряет его при очень крутом или пологом угле по отношению к камере. Неприменимо, когда безопасность человека является главным приоритетом.»
Исследователи оценили ArUcoGlide в серии экспериментов, проверяя точность его системы отслеживания, влияние системы на поведение людей и роботов непосредственно перед неизбежным столкновением, ее производительность во время совместной задачи в реальном мире. Они обнаружили, что это значительно повысило безопасность взаимодействия робота и человека, сохранив увеличение расстояния между рукой пользователя и роботом в среднем до 5 см.
Система может оказаться эффективной для улучшения взаимодействия человека и робота в различных реальных условиях. Например, это могло бы помочь медицинскому персоналу, который пипетирует образцы крови.
«Когда человеческая рука приближается к роботу, наша система может обнаружить это и активировать алгоритм предотвращения столкновений, чтобы робот не травмировал пользователя, — сказал Цетсеруков. широкий диапазон движений. Важно отметить, что система с движущимися маркерами ArUco и тактильной обратной связью ускоряет общий процесс медицинского обследования до 16%».
Примечательно, что разработанная командой система mocap также может быть адаптирована для удовлетворения потребностей конкретных приложений. Например, если пользователи хотят изменить среду, за которой он следит, им просто нужно переместить камеру слежения за движением в нужное место и перезапустить систему.
«Система предназначена для использования в общей рабочей среде, напоминающей типичные действия на складах или в лабораториях», — сказал Аббас. «Например, его можно установить в лаборатории, где роботизированная рука может присоединиться к химику в приготовлении некоторых растворов, ускоряя процесс и защищая пользователя от воздействия токсичных веществ», — сказал Аббас.
«Внимание химика, безусловно, сосредоточено на материалах, поэтому наша система, отслеживая рабочую среду, всегда может определить местонахождение руки химика и попытаться избежать столкновения с ней робота. ArUcoGlide очень удобен благодаря своей экономичности и простоте установки; пользователю просто нужно зафиксировать камеру в подходящем месте, чтобы определить рабочую среду , надеть ArUcoGlide, а затем приступить к работе».
Вскоре ArUcoGlide можно будет внедрить и протестировать в более широком диапазоне сценариев, чтобы подтвердить его потенциал для улучшения взаимодействия человека и робота . В своих следующих работах Аббас, Церсеруков и их коллеги хотели бы развить его дальше, чтобы обеспечить отслеживание всего тела пользователя.
«Мы планируем разработать GlideSuit — систему, в которой роботизированные маркеры размещаются на всем теле: руках, кистях, ногах и туловище», — сказал Цетсеруков. «Маркеры ArUco будут двигаться синхронно по человеческому телу, чтобы оставаться в норме с оптической осью камеры».
Эту обновленную версию ArUcoGlide можно использовать для отслеживания скелета пользователя в режиме реального времени с помощью одной камеры. Кроме того, он может поддерживать приложения дополненной реальности (AR), например, позволяя пользователям визуализировать органы или мышцы внутри человеческого тела или видеть, как разные предметы одежды будут смотреться на их теле.
«Представьте, что вы снимаете видео движущегося человека, держащего в руках виртуальных 3D-птиц, в режиме реального времени», — сказал Цетсерукоу. «ArUcoGlide можно использовать не только для людей, но и для роботов. Размещая его наверху дронов, имея всего одну камеру на потолке, мы можем отслеживать рой роботов и управлять их формированием для световых шоу. Еще одно увлекательное приложение — танец. обучение и реабилитация, когда мы направляем человека с помощью тактильной обратной связи, чтобы получить желаемую траекторию конечности в трехмерной среде».
