В последние годы робототехники разрабатывают все более совершенные роботизированные системы, многие из которых имеют искусственные руки или руки роботов с несколькими пальцами. Для выполнения повседневных задач как дома, так и в общественных местах роботы должны уметь использовать свои «руки», чтобы эффективно брать предметы и манипулировать ими.

Однако обеспечение ловких манипуляций с использованием нескольких пальцев у роботов до сих пор оказалось сложной задачей. Это в первую очередь потому, что это продвинутый навык, который влечет за собой адаптацию к форме, весу и конфигурации объектов.

Исследователи из Университета Гамбурга недавно представили новый подход к обучению роботов хватать объекты и манипулировать ими с помощью роботизированной руки с несколькими пальцами. Этот подход, представленный в IEEE Transactions on Neural Networks and Learning Systems , позволяет роботизированной руке учиться у людей посредством телеопераций и адаптировать свои стратегии манипулирования на основе положения рук человека и данных, собранных при взаимодействии с окружающей средой.

«Первоначальная идея этого исследования заключалась в разработке системы дистанционного управления, которая может передавать навыки манипулирования человеческой рукой многофигурной руке робота, чтобы пользователь-человек мог научить руку робота выполнять задачи в режиме онлайн», — доктор Чао Цзэн, один из Исследователи, проводившие исследование, рассказали TechXplore. «Есть две основные цели нашей работы. Во-первых, в отличие от других современных методов, мы не хотим носить перчатку с оптическими маркерами».

Цзэн и его коллеги хотели, чтобы их робот приобрел ловкие навыки манипулирования, наблюдая за человеческими демонстрациями. Однако вместо того, чтобы заставлять пользователей-людей, обучающих робота, носить перчатки с оптическими маркерами, как это делалось в других предыдущих исследованиях, они хотели, чтобы пользователь мог свободно двигать пальцами без каких-либо физических ограничений.

Вместо этого они использовали камеры для захвата изображения положения рук пользователя. Это оказалось довольно сложной задачей, но в конечном итоге они смогли добиться многообещающих результатов.

«Наша вторая цель заключалась в том, чтобы использовать роботизированную руку для достижения податливого поведения, как это делаем мы, люди, чтобы она могла справляться с задачами, связанными с физическим контактом, с ожидаемой ловкостью», — объяснил Цзэн.

В своих предыдущих работах исследователи обнаружили, что контроль силы, с которой робот захватывает или удерживает объекты, может помочь достичь более податливых навыков манипулирования. Это навыки, которые особенно важны при выполнении задач, предполагающих физическое взаимодействие с объектами, таких как резка, распиливание или вставка предметов внутрь чего-либо.

«В этом исследовании мы также хотели применить контроль силы на руке робота», — сказал Цзэн. «Однако прямое обучение глубокой нейронной сети (DNN) для генерации желаемых команд управления силой для робота во время выполнения является сложной задачей. Чтобы решить эту проблему, мы используем двухэтапный подход».

Первый шаг подхода, разработанного Цзэном и его коллегами, заключался в том, чтобы зафиксировать позу пользователей-людей и отобразить ее на углах суставов робота с помощью DNN. Их модель была обучена на данных, которые они собрали во время моделирования. После обучения он мог эффективно анализировать изображения рук человека и создавать соответствующие углы сочленений для рук робота.

«В качестве второго шага мы разработали стратегию управления силой, которая может прогнозировать желаемые команды силы на каждом временном шаге с учетом текущих опорных углов», — сказал Цзэн. «Два компонента нашего подхода могут быть легко интегрированы в систему дистанционного управления, чтобы улучшить соответствие роботизированной руки, как мы и собирались сделать».

Исследователи оценили свой подход в серии тестов, как в симуляции, так и в реальных условиях с использованием Shadow hand, роботизированной системы, которая напоминает человеческую руку как по размеру, так и по форме. Их результаты были очень многообещающими, поскольку их модели значительно превзошли широко используемый подход к манипулированию роботами, создавая более эффективные стратегии манипулирования.

«Предложенная нами система может использоваться для телеуправления руками робота, опираясь только на данные зрения, и она может работать как в моделировании, так и в реальных задачах», — сказал Цзэн. «Наша работа представляет собой интересную попытку интегрировать высокоуровневое обучение и низкоуровневый контроль для манипулирования роботом. Хотя эта интеграция выглядит несколько простой, она действительно может улучшить способность робота к послушному манипулированию».

В будущем новый подход, представленный этой группой исследователей, может помочь улучшить навыки манипулирования как существующими, так и недавно разработанными роботами-гуманоидами. Кроме того, это может оказаться многообещающей стратегией, позволяющей сократить разрыв между подходами на основе глубокого обучения и управления, объединяя преимущества обоих для улучшения возможностей роботов.

«Наша нынешняя система телеуправления не идеальна, и некоторые аспекты можно было бы улучшить», — добавил Цзэн. «Например, ему не хватает погружения во время телеопераций, а виртуальная и дополненная реальности могут использоваться для улучшения взаимодействия с пользователем. В наших следующих исследованиях мы планируем изучить эти возможности и обучить лучшую модель нейронной сети, которая может обобщать разные человеческие руки разных размеров. Мы также рассматриваем возможность отслеживания руки робота, чтобы реализовать дистанционное управление рукой робота для надлежащих манипуляций».