Робототехники уже несколько лет пытаются разработать роботов, которые смогут выполнять различные повседневные домашние дела, такие как мытье посуды или уборка. Однако до сих пор ни один из созданных роботов не был коммерциализирован и принят в больших масштабах.

Исследователи из Нью-Йоркского университета недавно представили Dobb-E, новую систему, специально разработанную для эффективного обучения мобильных роботов выполнению домашних задач, что в конечном итоге способствует их будущему широкому использованию. Эта структура описана в документе, предварительно опубликованном на сервере arXiv , можно применить к различным роботам, предназначенным для помощи людям в их домах.

«Эта статья родилась из нашего видения внедрения роботов в среднюю американскую семью в ближайшем будущем,» Леррел Пинто, соавтор статьи, рассказал Tech Xplore. «У нас уже есть специализированные «роботы»; в наших домах, например, посудомоечная или стиральная машина, а робот широкого профиля, который может научиться выполнять каждую домашнюю работу и как это может помочь лучшее в этой ситуации слишком долго было далекой целью».

Недавняя работа Пинто и его коллег преследовала ряд основных целей, каждая из которых должна быть решена, чтобы роботы могли успешно интегрироваться в бытовую среду. Во-первых, команда хотела разработать эффективный подход, который позволил бы пользователям быстро обучать роботов новым навыкам.

Этот подход также должен гарантировать, что роботы, гарантируя, что они не причинят никакого ущерба, пока учатся выполнять новые задачи. Наконец, оно не должно быть особенно требовательным к конечным пользователям, поэтому оно скорее упрощает, чем усложняет их жизнь.

«Для достижения эффективности мы полагались на системы обучения, основанные на данных, успех которых легко заметен в крупнейших моделях машинного обучения, используемых сегодня», — сказал он. — сказал Пинто. «Мы достигаем безопасности, формулируя нашу систему на основе обучения под наблюдением пользователя, а не на основе метода проб и ошибок. Наконец, мы разработали эргономичный инструмент для сбора демонстраций, который позволяет нам собирать демонстрации для конкретных задач в незнакомых домах без прямого управления роботом».

Среда Dobb-E состоит из четырех ключевых компонентов, а именно: инструмента сбора данных, предварительно обученной модели, разнообразного набора данных и схема развертывания. Первый из этих компонентов, называемый «Палкой», разработан для упрощения сбора данных с использованием смартфона пользователя.

«The Stick — это наш дешевый, но эргономичный инструмент для сбора данных, который мы собираем из инструмента для захвата, напечатанных на 3D-принтере креплений и iPhone pro», — говорит он. — сказал Пинто. «Простой список ингредиентов делает этот инструмент доступным и дешевым, а установленный на нем iPhone позволяет нам записывать видео высокого разрешения, глубину и информацию о движении во время демонстраций».

Используя инструмент сбора данных Stick, Пинто и его коллеги собрали новый набор данных для обучения домашних роботов, который они назвали набором данных Homes of New York (HoNY). Этот набор данных содержит кадры, собранные с помощью их смартфонов в 216 домашних условиях Нью-Йорка.

В отличие от других наборов данных для обучения роботов, разработанных в прошлом, набор данных HoNY фокусируется на более разнообразном наборе сцен и поведения роботов. Кроме того, инструмент сбора данных Stick позволил им собрать на порядок больше сцен, чем было представлено в предыдущих наборах данных.

Третий компонент системы Добб-Э — это предварительно обученная модель восприятия. Эта модель была обучена на наборе данных HoNY с использованием подхода к самообучению.

«Мы обучаем домашние предварительно обученные представления (HPR) в качестве нашей модели визуального распознавания, используя набор данных HoNY и современный алгоритм самоконтролируемого обучения MoCo-v3», — сказал он. Пинто объяснил. «HPR позволяет нашему методу масштабироваться для самых разных ситуаций в разных домах».

Пинто и его коллеги оценили потенциал своего инструмента сбора данных, набора данных HoNY и предварительно обученной модели визуального распознавания в серии экспериментов в реальных домашних условиях. В этих экспериментах они применили обученный алгоритм на Hello Robot Stretch, многообещающем многофункциональном домашнем роботе на колесах.

Примечательно, что робота научили выполнять 109 различных домашних задач. Для каждой из этих задач исследователи настраивали свою модель, используя в среднем пять минут новых видеоданных.

«Самым захватывающим результатом этой статьи является подтверждение того, что при нашем нынешнем уровне технологий мы можем создавать обучаемых роботов-агентов, которые могут решать широкий спектр задач в столь же большом диапазоне домов», — сказал он. — сказал Пинто.

«Dobb-E — это передовой исследовательский проект, но, расширяя этот проект и создавая вокруг него надлежащие строительные леса, мы можем ожидать, что он перерастет в первые шаги к созданию универсального домашнего помощника, который может помочь пожилым людям, людям, пострадавшим от инвалидность или просто занятые родители. Однако для того, чтобы достичь того, что мы имеем, потребуется гораздо больше работы как по улучшению возможностей, так и по [полировке], чтобы сделать их более удобными для пользователя».

Система Dobb-E является большим вкладом в текущие усилия, направленные на широкое внедрение многофункциональных домашних роботов. Первоначальные эксперименты команды дали очень многообещающие результаты, а также выявили некоторые ключевые факторы, влияющие на производительность домашних роботов.

В будущем эта недавняя работа может стать основой для разработки все более совершенных отечественных робототехнических систем. Пинто и его коллеги публично опубликовали свой инструмент сбора данных, набор данных и предварительно обученную модель, поэтому другие исследовательские группы вскоре смогут использовать их или адаптировать в рамках своих собственных исследований.

«Хотя Dobb-E предназначен для обучения навыкам низкого уровня в различных сценариях, он не учитывает необходимость в планировщике или политике более высокого уровня, которые связывают эти навыки вместе для выполнения различных задач в домашних условиях», — сказал он. — добавил Пинто.

«Одним из наших будущих направлений должно стать изучение цепочки навыков для выполнения значимых, долгосрочных задач дома. Еще одно направление, которое мы хотим изучить, — это улучшение датчиков на палке и роботе и, возможно, итерация нашего измерения глубины, добавление большего количества изображений с камеры и добавление большего количества модальностей датчиков, таких как прикосновение и звуки».