Робот перемещает игрушечную упаковку масла по столу в лаборатории интеллектуальной робототехники и зрения Техасского университета в Далласе. С каждым толчком робот учится распознавать объект с помощью новой системы, разработанной командой ученых-компьютерщиков UT Dallas.

Новая система позволяет роботу перемещать объекты несколько раз, пока не будет собрана последовательность изображений, что, в свою очередь, позволяет системе сегментировать все объекты в последовательности, пока робот не распознает объекты. Предыдущие подходы полагались на одно нажатие или захват роботом, чтобы «изучить» объект.

Команда представила свою исследовательскую работу на конференции «Робототехника: наука и системы» , проходившей 10–14 июля в Тэгу, Южная Корея. Доклады для конференции были отобраны за их новизну, техническое качество, значимость, потенциальное воздействие и ясность.

День, когда роботы смогут готовить ужин, убирать с кухонного стола и опорожнять посудомоечную машину, еще очень далек. Но исследовательская группа добилась значительного прогресса со своей роботизированной системой, которая использует искусственный интеллект, чтобы помочь роботам лучше идентифицировать и запоминать объекты, сказал доктор Юй Сян, старший автор статьи.

«Если вы попросите робота взять кружку или принести вам бутылку воды, робот должен распознать эти объекты», — сказал Сян, доцент кафедры информатики в Школе инженерии и компьютерных наук Эрика Йонссона.

Технология исследователей UTD предназначена для того, чтобы помочь роботам обнаруживать самые разнообразные объекты, встречающиеся в таких средах, как дома, а также обобщать или идентифицировать похожие версии обычных предметов, таких как бутылки с водой, которые бывают разных марок, форм и размеров.

Внутри лаборатории Сяна находится контейнер, полный игрушечных упаковок с обычными продуктами, такими как спагетти, кетчуп и морковь, которые используются для обучения лабораторного робота по имени Рэмп. Ramp — это мобильный робот-манипулятор Fetch Robotics высотой около 4 футов на круглой мобильной платформе. Рампа имеет длинную механическую руку с семью шарнирами. На конце находится квадратная «рука» с двумя пальцами для захвата предметов.

Сян сказал, что роботы учатся распознавать предметы аналогично тому, как дети учатся взаимодействовать с игрушками.

«После толкания объекта робот учится его распознавать», — сказал Сян. «С помощью этих данных мы обучаем модель ИИ, чтобы в следующий раз, когда робот увидит объект, ему не нужно было снова его толкать. Во второй раз, когда он увидит объект, он просто поднимет его».

Новым в методе исследователей является то, что робот нажимает на каждый предмет от 15 до 20 раз, в то время как предыдущие методы интерактивного восприятия используют только одно нажатие. Сян сказал, что несколько нажатий позволяют роботу делать больше фотографий с помощью камеры RGB-D, которая включает в себя датчик глубины, чтобы узнать о каждом объекте более подробно. Это снижает вероятность ошибок.

Задача распознавания, дифференциации и запоминания объектов, называемая сегментацией, является одной из основных функций, необходимых роботам для выполнения задач.

«Насколько нам известно, это первая система, которая использует долгосрочное взаимодействие роботов для сегментации объектов », — сказал Сян.

Нинад Харгонкар, докторант компьютерных наук, сказал, что работа над проектом помогла ему улучшить алгоритм, который помогает роботу принимать решения.

«Одно дело разработать алгоритм и протестировать его на абстрактном наборе данных; другое дело протестировать его на реальных задачах», — сказал Харгонкар. «Наблюдение за этим реальным представлением — это был ключевой опыт обучения».

Следующим шагом исследователей станет улучшение других функций, включая планирование и контроль, что позволит выполнять такие задачи, как сортировка вторсырья.