В последние годы нейронные методы получили широкое распространение при реконструкциях с помощью камеры. Однако в большинстве случаев необходимы сотни ракурсов камеры. Между тем, существуют традиционные фотометрические методы, которые позволяют выполнять высокоточные реконструкции даже объектов с бестекстурной поверхностью. Однако они обычно работают только в контролируемых лабораторных условиях.

Дэниел Кремерс, профессор компьютерного зрения и искусственного интеллекта в TUM, руководитель Мюнхенского центра машинного обучения (MCML) и директор Мюнхенского института науки о данных (MDSI), вместе со своей командой разработал метод, который использует два подхода.

Он сочетает в себе нейронную сеть поверхности с точной моделью процесса освещения, которая учитывает поглощение света и расстояние между объектом и источником света. Яркость на изображениях используется для определения угла и расстояния поверхности относительно источника света.

«Это позволяет нам моделировать объекты с гораздо большей точностью, чем существующие процессы. Мы можем использовать природное окружение и реконструировать относительно бестекстурные объекты для наших реконструкций», — говорит Кремерс.

Статья опубликована на сервере препринтов arXiv и будет представлена ​​на конференции по компьютерному зрению и распознаванию образов ( CVPR 2024 ), которая пройдет в Сиэтле с 17 по 21 июня 2024 года.

Применение в автономном вождении и сохранении исторических артефактов

Метод можно использовать для консервации исторических памятников или оцифровки музейных экспонатов. Если они со временем разрушаются или разрушаются, фотографические изображения можно использовать для реконструкции оригиналов и создания подлинных копий.

Команда профессора Кремерса также разрабатывает методы реконструкции на основе нейронных камер для автономного вождения , при которых камера снимает окрестности автомобиля. Автономный автомобиль может моделировать свое окружение в режиме реального времени , создавать трехмерное представление сцены и использовать его для принятия решений.

Процесс основан на нейронных сетях , которые прогнозируют трехмерные облака точек для отдельных видеоизображений, которые затем объединяются в крупномасштабную модель пройденных дорог.