RoboTool позволяет творчески использовать инструменты в роботах

Прочитано: 75 раз(а)


Если ингредиент находится вне досягаемости на высокой полке кладовой, вам понадобится не больше нескольких секунд, чтобы найти ступеньку или, может быть, просто стул, на который можно встать и принести ингредиент в пределах досягаемости. Это простое решение является результатом сложного подхода к решению проблем, который исследователи называют творческим использованием инструментов.

Хотя использование инструментов по назначению является полезным навыком, творческое использование инструментов зависит не только от способности идентифицировать инструменты и эффективно их использовать, но и от склонности предсказывать результаты, что делает его признаком развитого интеллекта, который, за исключением людей, мало кто знает. животные освоились.

Исследователи факультета машиностроения Университета Карнеги-Меллона в сотрудничестве с Google DeepMind задали вопрос: поскольку люди понимают творческое использование инструментов, можем ли мы научить роботов тоже ими пользоваться?

«Основная проблема использования творческих инструментов заключается в том, что это по определению «неизвестная неизвестная» проблема, то есть отсутствие демонстрации», — сказал Дин Чжао.

«В противном случае речь идет об обучении, а не о создании. Поэтому мы должны привлечь внешние знания, чтобы помочь роботам провести мозговой штурм. Большие языковые модели, которые извлекают все знания из Интернета, являются идеальными ингредиентами в этой схеме», — сказал Чжао. , доцент кафедры машиностроения и директор CMU Safe AI Lab.

Чтобы изучить это, исследователи разработали RoboTool, творческую систему использования инструментов, построенную на больших языковых моделях (LLM), которые принимают инструкции на естественном языке о среде робота, включая размер и расположение объектов в его рабочем пространстве, а также другие ограничения, связанные с воплощением. Затем RoboTool выводит непосредственно исполняемый код Python в качестве плана выполнения задачи.

«В отличие от существующих моделей, которые дают роботам конкретные указания, например, «используй эту вилку, чтобы съесть этот торт», мы даем нашему роботу только цель высокого уровня, например, «съесть торт», — объяснил Мэнди Сюй, Кандидат наук. кандидат технических наук.

RoboTool был подвергнут испытанию, когда исследовательская группа попросила двух разных роботов выполнить три задачи, требующие выбора инструмента, последовательного использования инструмента и изготовления инструмента.

Выбор инструмента оценивался путем задания роботизированной руке схватить пакет молока вне досягаемости, а четвероногому роботу было предложено передвигаться с одного дивана на другой, обращая внимание на промежуток между ними. Для достижения успеха обоим роботам пришлось выбрать наиболее подходящий инструмент среди множества вариантов. Они продемонстрировали широкое понимание размера и формы объекта, а также способность анализировать связь между этими свойствами и конечной целью прохождения теста.

Последовательное использование инструментов требует, чтобы роботы использовали ряд инструментов в определенном порядке для достижения цели. Роботы команд продемонстрировали это, перемещая блоки вместе, чтобы залезть на диван, и с помощью палки толкая банку на лист бумаги, чтобы подтянуть банку в пределах досягаемости.

Производство инструментов требовало, чтобы роботы выполняли задачи, создавая инструменты из доступных материалов, например, используя доску и трубу, чтобы создать рычаг для подъема куба. Этот тест требует, чтобы робот распознавал неявные связи между объектами и собирал компоненты посредством манипуляций.

«Эта способность важна в робототехнике, поскольку она позволяет роботам выполнять задачи, которые изначально казались невозможными», — сказал Пейде Хуанг, доктор философии. кандидат технических наук.

В дальнейшем команда включит в систему модели видения, чтобы раскрыть еще более сильные способности восприятия и рассуждения. Они также стремятся разработать более интерактивные способы участия людей в творческом использовании инструментов роботов и управления ими.

RoboTool позволяет творчески использовать инструменты в роботах



Новости партнеров