Исследователи предлагают новый подход, который использует глубокое обучение для создания трехмерных голограмм из цветных двумерных изображений – быстрее, чем «современный графический процессор».

Голограммы уже давно обещают обеспечить захватывающий трехмерный (3D) опыт, но проблемы, связанные с их созданием, ограничивают их широкое использование.

Используя последние достижения в области глубокого обучения, исследователи из Университета Тиба теперь предлагают, по их словам, «подход, меняющий правила игры», который использует нейронные сети для преобразования обычных двумерных цветных изображений в 3D-голограммы.

Исследователи говорят, что предложенный ими подход может упростить создание 3D-голограмм и найти применение во многих областях, включая здравоохранение и развлечения.

Голограммы, предлагающие трехмерное (3D) изображение объектов, обеспечивают уровень детализации, недостижимый для обычных двумерных (2D) изображений.

Благодаря своей способности обеспечивать реалистичное и захватывающее восприятие трехмерных объектов, голограммы обладают огромным потенциалом для использования в различных областях, включая медицинскую визуализацию, производство и виртуальную реальность.

Голограммы традиционно создаются путем записи трехмерных данных объекта и взаимодействия света с объектом.

Однако этот метод требует больших вычислительных затрат, поскольку требует использования специальной камеры для захвата трехмерных изображений. Это затрудняет создание голограмм и ограничивает их широкое использование.

В последнее время было предложено множество методов глубокого обучения для создания голограмм. Они могут создавать голограммы непосредственно из 3D-данных, полученных с помощью камер RGB-D, которые фиксируют информацию о цвете и глубине объекта.

Этот подход позволяет обойти многие вычислительные проблемы, связанные с традиционным методом, и представляет собой более простой подход к созданию голограмм.

Теперь группа исследователей под руководством профессора Томоёси Симобаба из Высшей инженерной школы Университета Тиба , Япония, предлагает новый подход, основанный на глубоком обучении, который еще больше упрощает генерацию голограмм за счет создания 3D-изображений непосредственно из обычных 2D-цветных изображений, снятых с помощью обычных камер. .

Ёсиюки Исии и Томоёси Ито из Высшей инженерной школы Университета Тиба также приняли участие в этом исследовании, которое было доступно онлайн в августе, в разделе «Оптика и лазеры в технике».

Объясняя причину этого исследования, профессор Шимобаба говорит: «Существует несколько проблем при реализации голографических дисплеев, включая получение 3D-данных, вычислительные затраты на голограммы и преобразование изображений голограмм для соответствия характеристикам голографического устройства отображения.

«Мы провели это исследование, потому что считаем, что глубокое обучение быстро развивалось в последние годы и имеет потенциал для решения этих проблем».

Предлагаемый подход использует три глубокие нейронные сети (DNN) для преобразования обычного двухмерного цветного изображения в данные, которые можно использовать для отображения трехмерной сцены или объекта в виде голограммы.

Первая DNN использует в качестве входных данных цветное изображение, снятое с помощью обычной камеры, а затем прогнозирует соответствующую карту глубины, предоставляя информацию о трехмерной структуре изображения.

И исходное изображение RGB, и карта глубины, созданная первой DNN, затем используются второй DNN для создания голограммы. Наконец, третий DNN уточняет голограмму, сгенерированную вторым DNN, делая ее пригодной для отображения на различных устройствах.

Исследователи обнаружили, что время, затраченное предлагаемым подходом на обработку данных и создание голограммы, «превосходит время, необходимое современному графическому процессору».

Профессор Шимобаба говорит: «Еще одним примечательным преимуществом нашего подхода является то, что воспроизведенное изображение конечной голограммы может представлять собой естественное трехмерное воспроизведенное изображение.

«Более того, поскольку информация о глубине не используется во время генерации голограммы, этот подход является недорогим и не требует после обучения устройств 3D-изображения, таких как камеры RGB-D».

В ближайшем будущем этот подход может найти потенциальное применение в проекционных и наголовных дисплеях для создания высококачественных 3D-дисплеев.

Аналогичным образом, это может произвести революцию в создании автомобильных голографических проекционных дисплеев, которые смогут предоставлять пассажирам необходимую информацию о людях, дорогах и знаках в 3D.

Таким образом, ожидается, что предложенный подход проложит путь к развитию повсеместной голографической технологии.