Исследователи из Университета Рутгерса недавно разработали вероятностный подход для построения трехмерных моделей неизвестных объектов, когда ими манипулирует робот. Их подход, изложенный в статье, ранее опубликованной на arXiv , использует физический движок для проверки гипотетической геометрии в симуляциях.
Большинство приматов учатся манипулировать различными объектами в ранние годы жизни. Однако воспроизвести эту, казалось бы, тривиальную способность у роботов оказалось очень сложной задачей.
Прошлые исследования пытались достичь этого, используя различные алгоритмы манипуляции, которые обычно требуют знания геометрических моделей, связанных с объектами, которыми робот будет манипулировать. Эти модели могут быть полезны, если объекты, с которыми сталкивается робот, известны заранее, но часто они терпят неудачу, когда эти объекты неизвестны.
«Мы специально рассматриваем задачи манипуляции в кучах беспорядка, которые содержат ранее невидимые объекты», — писали исследователи из Университета Рутгерса. «Одним из новых аспектов этой работы является использование физического механизма для проверки гипотетической геометрии при моделировании. Доказательства, предоставленные физическим моделированием, используются в вероятностной структуре, которая учитывает тот факт, что механические свойства объектов являются неопределенными».
Интегрированная система, разработанная исследователями, имеет несколько компонентов: роботизированный манипулятор , модуль сегментации и кластеризации и модуль обратного физического рассуждения. Роботизированный манипулятор предназначен для того, чтобы толкать или толкать объекты в куче беспорядка, в то время как модуль сегментации и кластеризации может обнаруживать объекты на изображениях RGB-D.
Наконец, обратная физическая единица рассуждения, которая является отличительной чертой их подхода, выводит недостающие части объектов, воспроизводя действия робота в симуляции. По сути, устройство использует несколько гипотетических форм и назначает более высокие вероятности тем, которые лучше всего соответствуют наблюдаемым изображениям RGB-D.
Исследователи разработали алгоритм обратного физического рассуждения (IPR), который может выводить окклюзированные части объектов на основе их наблюдаемых движений и взаимных взаимодействий. Для обучения и оценки своей системы они использовали два набора данных: набор данных Voxlets и новый набор данных, созданный с использованием эталонных объектов YCB. Набор данных Voxlets содержит статические изображения объектов столешницы, в то время как созданная ими новая база данных содержит более плотные груды объектов.
Команда провела оценку нового подхода в серии экспериментов с использованием роботизированной руки Kuka, установленной на мобильной платформе Clearpath и оснащенной ручной и глубокой камерой Robotiq. В этих тестах роботу были представлены неизвестные объекты в разных сценариях. Результаты, собранные исследователями, были очень многообещающими, поскольку их алгоритм IPR выводит формы лучше, чем другие подходы.
«Эксперименты с использованием робота показывают, что этот подход эффективен для построения физически реалистичных трехмерных моделей, которые могут быть полезны для планирования манипуляций», — пишут исследователи. «Эксперименты также показывают, что предлагаемый подход значительно превосходит альтернативные подходы с точки зрения точности формы».
Новый вероятностный подход, представленный исследователями, может помочь повысить производительность роботов в задачах манипуляции. В своей будущей работе они планируют развивать свой подход, чтобы он мог одновременно выводить трехмерные и механические модели.
