По мере того, как роботы проникают в различные среды реального мира, робототехники пытаются обеспечить эффективное выполнение растущего числа задач. Для роботов, которые предназначены для помощи людям в их домах, это включает в себя работу по дому, такую как уборка, уборка и приготовление пищи.
Исследователи из Исследовательского института Idiap в Швейцарии, Китайского университета Гонконга (CUHK) и Уханьского университета (WHU) недавно разработали метод, основанный на машинном обучении , специально для обучения роботов осваивать жаркое стир-фрай, китайскую кулинарную технику приготовления пищи. Их метод, представленный в статье, опубликованной в IEEE Robotics and Automation Letters, сочетает в себе использование модели на основе преобразователя и графовой нейронной сети (GNN).
«Наша недавняя работа является совместным усилием трех лабораторий: группы обучения и взаимодействия роботов под руководством доктора Сильвена Калинона в исследовательском институте Idiap и лаборатории совместных и универсальных роботов под руководством профессора Фей Чен Кука, а также лаборатории под руководством проф. Мяо Ли из WHU», — сказал TechXplore Цзюньцзя Лю, один из исследователей, проводивших исследование. «Наши три лаборатории учатся и работают вместе около десяти лет. Мы особенно заинтересованы в создании интеллектуальных роботов, которые могут готовить еду для людей».
Доктор Калинон, профессор Чен и профессор Мяо уже несколько лет пытаются улучшить кулинарные навыки роботов. В своем недавнем исследовании они решили сосредоточиться на китайском кулинарном искусстве, в частности на жарке стир-фрай, технике приготовления, которая предполагает обжаривание ингредиентов на сильном огне при их перемешивании, как правило, с использованием сковороды вок.
«Несмотря на то, что роботы для бытовых услуг были значительно усовершенствованы в последние годы, создание робота-повара в полуструктурированной кухонной среде остается большой проблемой», — сказал Лю.
«Приготовление пищи и приготовление пищи — два важнейших занятия в домашнем хозяйстве, и робот-повар, который может следовать произвольным рецептам и готовить автоматически, будет практичным и принесет новый интерактивный развлекательный опыт».
Жаркое, стиль приготовления пищи, на котором команда сосредоточилась в своей недавней статье, включает в себя сложные бимануальные навыки, которым трудно научить роботов. Чтобы эффективно сделать это, Лю и его коллеги сначала попытались обучить модель бимануальной координации, известную как «структурированный преобразователь», используя человеческие демонстрации.
«Этот механизм рассматривает координацию как проблему преобразования последовательности между движениями обеих рук и использует комбинированную модель преобразователя и GNN для достижения этой цели», — объяснил Лю. «Таким образом, в онлайн-процессе движение левой руки регулируется в соответствии с визуальной обратной связью, а соответствующее движение правой руки генерируется предварительно обученной моделью структурированного преобразователя на основе движения левой руки».
Исследователи оценили производительность своей модели как в симуляциях, так и на физической двуручной роботизированной платформе, известной как робот Panda. В этих тестах их модель позволила роботу успешно и реалистично воспроизвести движения, связанные с обжариванием.
«Основной вклад этой статьи состоит в том, чтобы рассмотреть механизм координации бимануальных роботов в явном виде в форме преобразования последовательности», — сказал Лю. «По сравнению с классическим обучением с помощью демонстрационных методов и методами, основанными на глубоком обучении / обучении с подкреплением , наша несвязанная структура умело сочетает в себе оба этих метода. Фактически, она может иметь как обобщение первого, так и выразительность второго».
В будущем модель, представленная этой группой исследователей, может позволить разработать роботов, которые смогут готовить еду как дома, так и в общественных местах. Кроме того, тот же подход можно использовать для обучения роботов другим задачам, требующим использования двух рук и кистей. Тем временем Лю и его коллеги планируют продолжить работу над своей моделью, чтобы улучшить ее производительность и обобщаемость.
«Теперь мы будем вводить информацию из более высоких измерений, чтобы изучить больше гуманоидных движений в кухонных навыках, таких как визуальные и электромиографические сигналы», — добавил Лю. «Оценка содержания полужидкости в этой работе была упрощена как сегментация двумерного изображения, и мы использовали только относительное смещение в качестве желаемой цели. Таким образом, мы также планируем предложить более полную структуру, которая включает в себя как движения бимануальные манипуляторы и изменение состояния объекта».
