Исследователи из I2R ASTAR Singapore и UM-CNRS LIRMM во Франции недавно разработали структуру, которая может улучшить способность роботов идентифицировать объекты в их окружении, которые могут быть потенциальными инструментами, а затем использовать их для выполнения ручных задач, даже если они никогда не сталкивались с ними. объекты раньше. Их подход, представленный в статье, опубликованной в журнале Nature Machine Intelligence, может значительно повысить способность роботизированных систем выполнять сложные задачи, для которых могут потребоваться инструменты, без необходимости какого-либо предварительного обучения инструментам.

«Люди удивительно распознают случайные объекты в своей среде как потенциальные инструменты и используют их как таковые», — сказал Android-Robot Ганеш Гоуришанкар, один из исследователей, проводивших исследование. «Аналогичные способности могут быть очень полезны для роботов и могут позволить им быть инновационными в «неструктурированных» (то есть немоделируемых и непредсказуемых) средах. ) решать задачи и преодолевать препятствия, используя в качестве инструментов доступный мусор».

Хотя многие прошлые исследования в области робототехники подчеркивали огромный потенциал систем, которые могут использовать инструменты для выполнения физических задач, все предложенные до сих пор методы требовали предварительного обучения работе с инструментами. Это было достигнуто в моделировании с использованием видео людей или других роботов, использующих инструменты, или непосредственно в физическом мире с использованием инструмента.

С другой стороны, цель работы Кенг Пенг Ти, Гоуришанкара и их коллег заключалась в том, чтобы создать структуру, которая позволила бы роботам идентифицировать потенциально полезные инструменты на лету на основе их формы и размера, даже если они никогда не сталкивались с ними. объекты раньше и никогда раньше не обучались тому, как использовать их или любой другой инструмент. Исследователи работают над такой структурой уже несколько лет.

«В нашей новой статье мы объединили нашу прошлую работу по использованию человеческих инструментов , « воплощению » и характеристике человеческих инструментов, чтобы разработать структуру познания, которая позволяет роботам с нулевым опытом работы с инструментами распознавать объекты (даже те, которые видятся впервые) как инструменты для заданную задачу , и использовать их немедленно — как человек», — сказал Гоуришанкар.

Проводя свои предыдущие исследования и просматривая существующую литературу, Ти и Гоуришанкар обнаружили, что люди могут использовать форму своих собственных кистей или рук, а также действия, выполняемые их рукой/руками, в качестве ориентира для определения того, может ли инструмент быть полезен для завершения конкретная задача. Новая структура, которую они разработали, основана на этой идее, поскольку она побуждает роботов использовать свои конечности, чтобы определить, можно ли использовать объекты в их окружении в качестве инструментов.

«Наш фреймворк использует наши открытия, чтобы роботы могли использовать интуитивно понятные инструменты», — пояснил Ти. «В частности, это позволяет роботу изолировать «функциональные» особенности своей конечности, которые позволяют выполнять задачу, использовать эти функции для распознавания объекта как потенциального инструмента для той же задачи, а затем развивать успешные движения с помощью инструмента, используя навыки (контроллеры), которыми уже обладает робот».

По сути, структура исследователей позволяет роботам использовать инструменты для выполнения любой задачи, которую они способны выполнить без инструментов (т. е. любой задачи, для которой у них есть так называемый «контроллер»). Требуется только, чтобы у робота были встроенные камеры или датчики, которые позволяют ему «визуально» воспринимать объекты в своем окружении.

Новая структура, разработанная Ти, Гоуришанкаром и их коллегами, может быть использована для расширения возможностей как существующих, так и недавно разработанных роботов, позволяя им лучше использовать объекты в своем окружении при выполнении конкретной миссии. Поскольку точное визуальное восприятие у роботов по-прежнему является технической проблемой , потенциал этой структуры в настоящее время ограничен.

«В своем нынешнем виде наша структура основана исключительно на визуальном восприятии, — сказал Ти. «Поэтому он работает с инструментами, которые позволяют «кинематические аугментации» — расширения в форме и размере (которые могут быть восприняты визуально) наших конечностей. К ним относится большой (вероятно, большинство) набор инструментов, которые мы используем в повседневной жизни — ложки. , грабли, щипцы, тарелки и даже стулья (чтобы взобраться наверх) и т. д.»

В то время как структура исследователей охватывает многие простые инструменты, которые мы используем в нашей повседневной жизни, в ее нынешнем виде она не позволит роботам идентифицировать и использовать инструменты, которые обеспечивают так называемые «динамические/силовые аугментации», такие как молотки или рычаги. Основная причина этого заключается в том, что для распознавания этих инструментов требуется не только их форма и размер, но и знание их веса и динамических свойств.

Таким образом, чтобы распознать эти инструменты как полезные при их представлении, роботу потребуется дополнительный уровень восприятия, который позволит ему связать визуальные/физические характеристики объекта с его динамическими характеристиками. Для этого Гауришанкар и его коллеги теперь планируют дальнейшее развитие своей структуры.

«В наших следующих исследованиях мы хотели бы расширить нашу структуру, чтобы обеспечить динамическое использование инструментов», — добавил Гоуришанкар. «Мы также хотели бы интегрировать нашу структуру с методами обучения, предложенными в других исследованиях использования инструментов. Это необходимо, чтобы позволить роботу использовать инструменты для задач, для которых у него нет контроллера (что-то, что наша структура не решает), поэтому она может приблизить роботов к возможностям использования инструментов людьми».