ИИ учат определять, что вы рисуете

Прочитано: 212 раз(а)


Новый способ научить искусственный интеллект (ИИ) понимать человеческие рисунки, даже нехудожников, был разработан командой из Университета Суррея и Стэнфордского университета.

Новая модель приближается к человеческому уровню распознавания эскизов сцен.

Доктор Юлия Грядицкая, преподаватель Суррейского Центра зрения, речи и обработки сигналов (CVSSP) и Суррейского института человеко-ориентированного искусственного интеллекта (PAI), сказала: «Скетчинг — мощный язык визуальной коммуникации. Иногда он даже более выразителен и гибкий, чем разговорный язык.

«Разработка инструментов для понимания эскизов — это шаг к более мощному взаимодействию человека с компьютером и более эффективным рабочим процессам проектирования. Примеры включают возможность поиска или создания изображений путем создания эскизов».

Люди всех возрастов и профессий используют рисунки для изучения новых идей и общения. Тем не менее, системам искусственного интеллекта исторически было трудно понять эскизы.

ИИ нужно научить понимать изображения. Обычно это предполагает трудоемкий процесс сбора меток для каждого пикселя изображения. Затем ИИ учится на этих ярлыках.

Вместо этого команда обучала ИИ, используя комбинацию эскизов и письменных описаний. Он научился группировать пиксели, сопоставляя их с одной из категорий в описании.

Получившийся ИИ продемонстрировал гораздо более глубокое и более человечное понимание этих рисунков, чем предыдущие подходы. Он правильно идентифицировал и маркировал воздушных змеев, деревья, жирафов и другие объекты с точностью 85%. Это превзошло другие модели, основанные на маркированных пикселях.

Помимо идентификации объектов в сложной сцене, он мог определить, какие штрихи пера предназначены для изображения каждого объекта. Новый метод хорошо работает с неформальными зарисовками, нарисованными нехудожниками, а также с рисунками объектов, на которых он не был специально обучен.

Профессор Джудит Фан, доцент кафедры психологии Стэнфордского университета, сказала: «Рисование и письмо являются одними из наиболее типичных видов человеческой деятельности и уже давно полезны для фиксации наблюдений и идей людей.

«Эта работа представляет собой впечатляющий прогресс в направлении систем искусственного интеллекта, которые понимают суть идей, которые люди пытаются донести, независимо от того, используют ли они изображения или текст».

Исследование является частью Института человеко-ориентированного искусственного интеллекта Суррея и, в частности, его программы SketchX. Используя искусственный интеллект, SketchX стремится понять, как мы видим мир, по тому, как мы его рисуем.

Профессор Йи-Чжэ Сонг, содиректор Института человеко-ориентированного искусственного интеллекта и руководитель SketchX, сказал: «Это исследование является ярким примером того, как ИИ может улучшить фундаментальную человеческую деятельность, такую ​​как создание эскизов. точность, эта технология имеет огромный потенциал для расширения возможностей естественного творчества людей, независимо от художественных способностей».

Исследование размещено на сервере препринтов arXiv , а статья будет представлена ​​на конференции IEEE/CVF по компьютерному зрению и распознаванию образов ( CVPR 2024 ), которая пройдет в Сиэтле 17–21 июня 2024 года.

ИИ учат определять, что вы рисуете



Новости партнеров