Запатентованные технологии визуализации, созданные в Инженерном колледже Университета Пердью, могут быть разработаны и коммерциализированы для самых разных областей применения, таких как медицинская визуализация, автономная навигация, наблюдение, микроскопия и передовое производство.

Ци Го, доцент Школы электротехники и вычислительной техники имени семьи Элмор, возглавляет команды, которые разработали две технологии:

• CT-Bound — быстрый и надежный метод обнаружения границ. Позволяет обнаруживать структурную информацию из чрезвычайно шумных визуальных данных.
• MetaHDR — система визуализации и зондирования с высоким динамическим диапазоном (HDR) за один раз. Она устраняет необходимость в последовательных захватах при обычной визуализации HDR.

На 26-м Международном семинаре по обработке мультимедийных сигналов Института инженеров по электротехнике и радиоэлектронике (IEEE) был продемонстрирован работающий прототип CT-Bound и представлена ​​исследовательская работа , которая также была включена в материалы конференции.

Научная статья о MetaHDR была опубликована в журнале Optics Express.

О CT-Bound

Го сказал, что многие приложения требуют обнаружения границ на изображениях с очень низким уровнем освещенности, включая автономную навигацию, производство и медицинскую визуализацию . Он сказал, что обнаружение граничных структур на очень шумных изображениях является распространенной и сложной проблемой компьютерного зрения.

«Хотя обнаружение границ изображений широко изучалось с ранних стадий развития компьютерного зрения, точность лучших современных алгоритмов обнаружения границ все еще неудовлетворительна, когда входные изображения имеют очень низкий уровень освещенности», — сказал он.

CT-Bound разбивает оценку границы на две задачи: локальное обнаружение и глобальную регуляризацию.

«Во время локального обнаружения модель использует сверточную архитектуру для прогнозирования граничной структуры каждого фрагмента изображения в форме предопределенного локального граничного представления, поля соединений», — сказал он. «Затем она использует архитектуру прямого преобразователя для глобального уточнения граничных структур каждого фрагмента, чтобы одновременно сгенерировать карту краев и сглаженную цветовую карту».

Тщательное экспериментальное исследование показало, что CT-Bound достиг наивысшей или одной из наивысших точности в обнаружении границ изображений на очень шумных изображениях по сравнению с предыдущими лучшими алгоритмами. Код, данные обучения, данные тестирования, дополнительные результаты и видеодемонстрация предлагаемого метода доступны онлайн.

«Мы также продемонстрировали, что CT-Bound создает карты границ и цвета на основе реальных, захваченных изображений без дополнительной тонкой настройки, а также видеокарты границ и цветов в реальном времени со скоростью 10 кадров в секунду», — сказал Го.

О MetaHDR

Го отметил, что покадровая HDR-визуализация и зондирование могут широко применяться там, где необходимо измерить полный профиль яркости движущейся среды, в том числе в передовом производстве, автономных транспортных средствах, микроскопической визуализации и видеосъемке.

При измерении движущихся объектов на окончательной реконструкции могут возникнуть артефакты-ореолы; поэтому требуются сложные алгоритмы постобработки.

«Создание системы визуализации, которая может одновременно измерять несколько изображений с брекетингом экспозиции, может помочь избежать этих утомительных усилий», — сказал Го. «Это может быть критически важно, когда точное измерение сигнала HDR динамических сцен имеет первостепенное значение, например, захват мерцания флуоресценции во флуоресцентной микроскопии или обнаружение неисправностей на движущихся производственных линиях».

MetaHDR — это система однократной HDR-визуализации и зондирования, использующая многофункциональную метаповерхность.

«Метаповерхность может разделять падающий луч на несколько фокусирующих лучей с разной мощностью, одновременно формируя несколько изображений с низким динамическим диапазоном (LDR) с разной освещенностью на фотодатчике», — сказал Го. «Затем изображения LDR совместно обрабатываются с использованием алгоритма слияния HDR на основе градиента, который, как показано, эффективен для ослабления остаточных световых артефактов, вызванных метаповерхностью и бликами линз».

Система Purdue MetaHDR захватывает HDR-изображения с одной или несколькими экспозициями и одновременно создает несколько LDR-изображений.

«Текущие решения для создания HDR-изображений с одним снимком требуют специализированных фотодатчиков и схем», — сказал Го. «MetaHDR использует более традиционные технологии камер и датчиков».

Покадровая HDR-фотография и видеосъемка с использованием приложений для сканирования в реальном времени делают MetaHDR особенно полезным для видеонаблюдения, микроскопии и передового производства.

«Мы проверили MetaHDR с помощью экспериментов с использованием изготовленной метаповерхности», — сказал Го. «Результаты показали более чем 50-децибеловое увеличение динамического диапазона по сравнению с самыми последними аппаратными решениями для визуализации HDR».

Следующие шаги развития

Вэй Сюй, аспирант кафедры электротехники и компьютерной инженерии Университета Пердью, сказал, что рабочий прототип CT-Bound достигает обнаружения границ в реальном времени в условиях высокого уровня шума. Команда расширила технологию до более широкого алгоритма под названием Blurry-Edges, который одновременно выполняет обнаружение границ и оценку глубины на основе шумных изображений.

«Для этого мы построили прототип оборудования, используя деформируемую линзу для захвата пар изображений при слабом освещении с различной оптической мощностью», — сказал Сюй. «Эти достижения закладывают основу для следующих шагов по переходу от исследовательских прототипов к развертываемым инструментам, которые могут быть интегрированы в промышленные продукты для обработки изображений».

Доклад, в котором используется представление изображений в стиле CT-Bound для измерения расстояний до объектов по фотографиям, сделанным при слабом освещении, был принят на конференцию этого года по компьютерному зрению и распознаванию образов; его публикация запланирована на июнь.

Юйсюань Лю, аспирант факультета электротехники и вычислительной техники Университета Пердью, сказал, что следующим шагом на пути к коммерциализации MetaHDR станет возможность получения полноцветных изображений с увеличенным полем зрения.

«Основываясь на последних достижениях в области компьютерной визуализации и оптических метаповерхностей, мы изучаем интеграцию искусственного интеллекта, метаоптики и рефракционных линз для достижения этой цели», — сказал Лю. «Это имеет значительный потенциал для реконструкции многомерной информации, такой как спектр, глубина и поляризация в моментальном снимке».

В настоящее время команда Го сотрудничает с Цзянь Цзинем, доцентом кафедры сельскохозяйственной и биологической инженерии Университета Пердью, с целью изучения потенциального использования MetaHDR в сельскохозяйственном фенотипировании.