Бимануальных роботов обучают приготовлению пищи с перемешиванием

Прочитано: 69 раз(а)
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Оценок пока нет)
Loading ... Loading ...


По мере того, как роботы проникают в различные среды реального мира, робототехники пытаются обеспечить эффективное выполнение растущего числа задач. Для роботов, которые предназначены для помощи людям в их домах, это включает в себя работу по дому, такую ​​как уборка, уборка и приготовление пищи.

Исследователи из Исследовательского института Idiap в Швейцарии, Китайского университета Гонконга (CUHK) и Уханьского университета (WHU) недавно разработали метод, основанный на машинном обучении , специально для обучения роботов осваивать жаркое стир-фрай, китайскую кулинарную технику приготовления пищи. Их метод, представленный в статье, опубликованной в IEEE Robotics and Automation Letters, сочетает в себе использование модели на основе преобразователя и графовой нейронной сети (GNN).

«Наша недавняя работа является совместным усилием трех лабораторий: группы обучения и взаимодействия роботов под руководством доктора Сильвена Калинона в исследовательском институте Idiap и лаборатории совместных и универсальных роботов под руководством профессора Фей Чен Кука, а также лаборатории под руководством проф. Мяо Ли из WHU», — сказал TechXplore Цзюньцзя Лю, один из исследователей, проводивших исследование. «Наши три лаборатории учатся и работают вместе около десяти лет. Мы особенно заинтересованы в создании интеллектуальных роботов, которые могут готовить еду для людей».

Доктор Калинон, профессор Чен и профессор Мяо уже несколько лет пытаются улучшить кулинарные навыки роботов. В своем недавнем исследовании они решили сосредоточиться на китайском кулинарном искусстве, в частности на жарке стир-фрай, технике приготовления, которая предполагает обжаривание ингредиентов на сильном огне при их перемешивании, как правило, с использованием сковороды вок.

«Несмотря на то, что роботы для бытовых услуг были значительно усовершенствованы в последние годы, создание робота-повара в полуструктурированной кухонной среде остается большой проблемой», — сказал Лю.

«Приготовление пищи и приготовление пищи — два важнейших занятия в домашнем хозяйстве, и робот-повар, который может следовать произвольным рецептам и готовить автоматически, будет практичным и принесет новый интерактивный развлекательный опыт».

Жаркое, стиль приготовления пищи, на котором команда сосредоточилась в своей недавней статье, включает в себя сложные бимануальные навыки, которым трудно научить роботов. Чтобы эффективно сделать это, Лю и его коллеги сначала попытались обучить модель бимануальной координации, известную как «структурированный преобразователь», используя человеческие демонстрации.

«Этот механизм рассматривает координацию как проблему преобразования последовательности между движениями обеих рук и использует комбинированную модель преобразователя и GNN для достижения этой цели», — объяснил Лю. «Таким образом, в онлайн-процессе движение левой руки регулируется в соответствии с визуальной обратной связью, а соответствующее движение правой руки генерируется предварительно обученной моделью структурированного преобразователя на основе движения левой руки».

Исследователи оценили производительность своей модели как в симуляциях, так и на физической двуручной роботизированной платформе, известной как робот Panda. В этих тестах их модель позволила роботу успешно и реалистично воспроизвести движения, связанные с обжариванием.

«Основной вклад этой статьи состоит в том, чтобы рассмотреть механизм координации бимануальных роботов в явном виде в форме преобразования последовательности», — сказал Лю. «По сравнению с классическим обучением с помощью демонстрационных методов и методами, основанными на глубоком обучении / обучении с подкреплением , наша несвязанная структура умело сочетает в себе оба этих метода. Фактически, она может иметь как обобщение первого, так и выразительность второго».

В будущем модель, представленная этой группой исследователей, может позволить разработать роботов, которые смогут готовить еду как дома, так и в общественных местах. Кроме того, тот же подход можно использовать для обучения роботов другим задачам, требующим использования двух рук и кистей. Тем временем Лю и его коллеги планируют продолжить работу над своей моделью, чтобы улучшить ее производительность и обобщаемость.

«Теперь мы будем вводить информацию из более высоких измерений, чтобы изучить больше гуманоидных движений в кухонных навыках, таких как визуальные и электромиографические сигналы», — добавил Лю. «Оценка содержания полужидкости в этой работе была упрощена как сегментация двумерного изображения, и мы использовали только относительное смещение в качестве желаемой цели. Таким образом, мы также планируем предложить более полную структуру, которая включает в себя как движения бимануальные манипуляторы и изменение состояния объекта».

Бимануальных роботов обучают приготовлению пищи с перемешиванием



Новости партнеров