Инструмент машинного обучения, разработанный исследователями из Института робототехники Университета Карнеги-Меллона (RI), потенциально может позволить начинающим и профессиональным дизайнерам создавать трехмерные виртуальные модели всего, от индивидуальной домашней мебели до содержимого видеоигр.

Pix2pix3d позволяет любому создать реалистичное 3D-представление 2D-эскиза с помощью генеративных инструментов искусственного интеллекта, аналогичных тем, которые используются в популярных приложениях для создания и редактирования фотографий с помощью ИИ.

«Цель нашего исследования — сделать создание контента доступным для большего числа людей с помощью машинного обучения и подходов, основанных на данных», — сказал Джун-Ян Чжу, доцент Школы компьютерных наук и член команды pix2pix3d.

В отличие от других инструментов, способных создавать двухмерные изображения , pix2pix3d представляет собой условную генеративную модель с поддержкой трехмерной графики, которая позволяет пользователю вводить двухмерный эскиз или более подробную информацию из карт меток, таких как сегментация или карта краев. Затем Pix2pix3d синтезирует трехмерное объемное представление геометрии, внешнего вида и меток, которые можно визуализировать с разных точек зрения для создания реалистичного трехмерного изображения, напоминающего фотографию.

«Пока вы можете нарисовать эскиз, вы можете создать свою собственную трехмерную модель», — сказал докторант RI Кангле Денг, который был частью исследовательской группы с Чжу, профессором Девой Рамананом и доктором философии. студент Гэншань Ян.

Pix2pix3d был обучен работе с наборами данных, включая автомобили, кошек и человеческие лица, и команда работает над расширением этих возможностей. В будущем его можно будет использовать для разработки потребительских товаров , например, дать людям возможность настраивать мебель для своего дома. И начинающие, и профессиональные дизайнеры могут использовать его для настройки элементов в средах виртуальной реальности или видеоиграх или для добавления эффектов к фильмам.

Как только pix2pix3d сгенерирует 3D-изображение, пользователь может изменить его в режиме реального времени, удалив и перерисовав исходный двухмерный эскиз. Эта функция дает пользователю больше свободы для настройки и уточнения изображения без необходимости повторного рендеринга всего проекта. Изменения отражаются в 3D-модели и точны с разных точек зрения.

Его функция интерактивного редактирования отличает pix2pix3d от других инструментов моделирования, поскольку пользователи могут быстро и эффективно вносить коррективы. Эта возможность может быть особенно полезна в таких областях, как производство, поскольку пользователи могут легко проектировать, тестировать и настраивать продукт.

Например, если дизайнер вводит эскиз автомобиля с квадратным капотом, модель предоставит 3D-рендеринг такого автомобиля. Если дизайнер сотрет эту часть эскиза и заменит квадратную вытяжку на круглую, 3D-модель тут же обновится. Команда планирует продолжить доработку и улучшение этой функции в будущем.

Дэн отметил, что даже самый неискушенный пользователь добьется удовлетворительного результата. Модель может генерировать точные выходные данные простого или грубого эскиза. При наличии более точных и подробных данных сегментации или карт краев модель может создать очень сложное трехмерное изображение.

«Наша модель устойчива к ошибкам пользователя», — сказал Дэн, добавив, что даже 2D-эскиз, отдаленно напоминающий кошку, создаст 3D-изображение кошки.

Исследование группы «3D-Aware Conditional Image Synthesis» было принято на конференции IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR) 2023 года.