Исследования объединяют людей, роботов и генеративный искусственный интеллект для создания искусства

Прочитано: 88 раз(а)


Исследователи из Института робототехники (RI) Университета Карнеги-Меллон разработали роботизированную систему, которая в интерактивном режиме рисует вместе с людьми. Совместная FRIDA (CoFRIDA) может работать с пользователями любых художественных способностей, приглашая к сотрудничеству для создания искусства в реальном мире.

«Это похоже на рисование, эквивалентное письменным подсказкам», — сказал Джим Макканн, доцент RI, который руководит текстильной лабораторией RI. «Если вы застряли и не знаете, что делать, он может что-то добавить на страницу для вас. Он может сломать барьер пустой страницы. Это действительно интересный способ повысить творческий потенциал человека».

CoFRIDA опирается на прошлую работу с FRIDA , многолабораторным объединением Школы компьютерных наук.

Названная в честь художницы Фриды Кало, FRIDA (Инициатива по развитию искусств в области робототехники) может использовать кисть или маркер для создания картин на основе текстовых подсказок пользователя-человека или примеров изображений. Проект был основан Джин О, доцентом-исследователем в РИ и главой Bot Intelligence Group (BIG), совместно с Макканном и доктором философии. студент Петер Шальденбранд.

Чтобы поддержать более совместный опыт художественного творчества, RI Ph.D. Студент Гаурав Пармар и доцент Джун-Ян Чжу присоединились к команде FRIDA для разработки CoFRIDA. Новая система позволяет пользователям вводить текст для описания того, что они хотят нарисовать. Они также могут участвовать в процессе создания, по очереди рисуя прямо на холсте с помощью робота, пока не реализуют свое художественное видение.

«CoFRIDA требует более высокого уровня интеллекта, чем оригинальная FRIDA, которая сама создает произведение искусства от начала до завершения», — сказал О. «Совместное рисование аналогично работе с другим человеком, которому постоянно нужно угадывать, чего он хочет. CoFRIDA должна понимать высокоуровневые цели пользователя-человека, чтобы сделать штрихи этого пользователя значимыми для достижения цели».

Совместное рисование по своей природе является совместным, и разработка данных, которые обучат робота сотрудничеству, сложна и требует много времени. Чтобы обойти это осложнение, CoFRIDA использует данные самоконтролируемых тренировок на основе симулятора и планировщика инсульта FRIDA.

Исследователи создали набор данных с самоконтролем и точной настройкой, заставив FRIDA моделировать картины, состоящие из последовательности мазков кисти, из которых некоторые мазки можно было удалить, чтобы получить примеры частичных картин.

Команде пришлось определить, как удалить элементы из рисунков в обучающих данных, оставив при этом достаточную часть изображения, чтобы CoFRIDA могла его распознать. Например, исследователи убрали такие детали, как обод колеса или окна автомобиля, но оставили контуры автомобиля.

«Мы пытались смоделировать различные состояния процесса рисования», — сказал Чжу. «Дойти до окончательного эскиза легко, но довольно сложно представить себе промежуточную стадию этого процесса».

Используя набор данных частичных и полных картин, исследователи настроили модель преобразования текста в изображение InstructPix2Pix , которая позволила CoFRIDA добавлять мазки кистью и работать с существующим контентом на холсте. Этот подход, основанный на данных, созданных с помощью симулятора кисти CoFRIDA, означает, что создание картины учитывает реальные ограничения робота, такие как ограниченный набор инструментов.

За пределами лаборатории исследователи надеются, что CoFRIDA сможет обучать людей робототехнике и расширять творческие способности, поощряя людей, которые могут сомневаться в своих художественных способностях. CoFRIDA также может помочь воплотить в жизнь идеи пользователей или направить произведения искусства в совершенно новом направлении.

«Если вы начнете с очень простого эскиза, CoFRIDA развернет произведение искусства в совершенно разных направлениях. Если вы попросите шесть разных рисунков, вы получите шесть совершенно разных вариантов», — сказал Шальденбранд.

«Приятно иметь возможность принимать решения на высоком уровне, потому что это позволяет мне чувствовать себя арт-директором. Робот принимает низкоуровневые решения о том, где разместить маркер, но я решаю, как все будет выглядеть в целом. Я все еще чувствую контроль над творческим процессом, и в мире, где художники боятся замены ИИ, CoFRIDA как пример робота, предназначенного для поддержки человеческого творчества, невероятно актуален».

Исследователи надеются, что дальнейшая работа позволит интегрировать персонализацию в CoFRIDA, предоставив пользователям еще больше контроля над стилем готового продукта.

Исследования объединяют людей, роботов и генеративный искусственный интеллект для создания искусства



Новости партнеров