Microsoft запускает OpenAI ChatGPT для управления реальными роботами-манипуляторами, дронами и многим другим

Прочитано: 399 раз(а)


Последний проект Microsoft, призванный сделать робототехнику более доступной для нетехнических пользователей, использует большую языковую модель в качестве интерфейса.

Microsoft внедряет технологию, подобную ChatGPT, в поисковую систему Bing

Команда из подразделения Microsoft Autonomous Systems and Robotics Research написала документ, в котором подробно описывается, как ChatGPT OpenAI, большая языковая модель, в настоящее время используемая в основном для суммирования результатов поиска и проектов интерактивного чата, может использоваться для управления роботизированными устройствами более доступным и естественным способом.

«Вы когда-нибудь хотели сказать роботу, что делать, используя свои собственные слова, как вы сказали бы человеку? микроволновая печь сама по себе», — объясняют исследователи свои цели. «Несмотря на то, что язык является для нас наиболее интуитивно понятным способом выражения наших намерений, мы по-прежнему в значительной степени полагаемся на написанный от руки код для управления роботами. Наша команда изучает, как мы можем изменить эту реальность и сделать возможным естественное взаимодействие человека и робота с помощью OpenAI. новая языковая модель ИИ, ChatGPT».

Запущенный в ноябре прошлого года, хотя только недавно считавшийся стабильным, OpenAI ChatGPT основан на семействе больших языковых моделей компании GPT-3 и обеспечивает удивительно быстрое общение. С момента ее выпуска наблюдается значительный интерес к использованию этой модели для обеспечения более естественного способа взаимодействия с технологиями, хотя попытки Microsoft интегрировать ее в поисковую систему Bing не обошлись без проблем .

«Получается, что ChatGPT многое умеет сам, но ему все равно нужна помощь», — признают исследователи. «В нашем техническом документе описывается ряд принципов проектирования, которые можно использовать для управления языковыми моделями при решении задач робототехники. Они включают, помимо прочего, специальные структуры подсказок, высокоуровневые API-интерфейсы и обратную связь с человеком через текст».

В документе команда описывает методологию и принципы проектирования для создания подсказок — созданного пользователем ввода, который подается в языковую модель, чтобы направить ее к определенному результату — на основе высокоуровневой библиотеки функций робототехники. Подсказки направляют ChatGPT на создание кода на основе библиотеки, который можно настроить с помощью дальнейших подсказок пользователя, пока он не будет готов для развертывания на роботе.

Microsoft внедряет технологию, подобную ChatGPT, в поисковую систему Bing

«Мы предоставили ChatGPT доступ к функциям, которые управляют настоящим дроном, и он оказался чрезвычайно интуитивным языковым интерфейсом между нетехническим пользователем и роботом», — заявляет команда о своих экспериментах. «ChatGPT задавал уточняющие вопросы, когда инструкции пользователя были неоднозначными, и писал сложные структуры кода для дрона, такие как зигзагообразный шаблон для визуального осмотра полок. Он даже придумал, как делать селфи!

«Мы также использовали ChatGPT в смоделированном сценарии промышленной инспекции с помощью симулятора Microsoft AirSim. Модель смогла эффективно анализировать высокоуровневые намерения пользователя и геометрические подсказки для точного управления дроном».

Другие эксперименты продемонстрировали способность ChatGPT манипулировать манипулятором робота, создавать логотип Microsoft из деревянных блоков и создавать алгоритм для дрона, который будет пересекать пространство, избегая препятствий, на основе данных, поступающих от датчика расстояния, расположенного спереди. «Эта задача требовала некоторого разговора с человеком, — объясняет команда, — и мы были впечатлены способностью ChatGPT вносить улучшения в локализованный код, используя только языковую обратную связь».

Ключевым результатом проекта, по словам исследователей, является новая платформа, предназначенная специально для совместной работы над подсказками для управления роботами с помощью больших языковых моделей: PromptCraft. «PromptCraft [является] совместной платформой с открытым исходным кодом, где каждый может поделиться примерами стратегий подсказок для различных категорий робототехники, — объясняет команда. — Мы публикуем все подсказки и диалоги, использованные в этом исследовании. Мы приглашаем читателей внести свой вклад в более!»

Ведущий французский университет запретил студентам использовать ChatGPT



Новости партнеров