Гиперспектральные камеры разделяют свет, отраженный объектом, на множество узких спектральных полос, которые они улавливают и обрабатывают по отдельности. Таким образом, они записывают спектральную характеристику для каждого пикселя в сцене. Эта подпись намного богаче, чем красно-зелено-голубое изображение, которое улавливают наши глаза. Он может даже однозначно идентифицировать материал на изображении, поскольку каждая молекула взаимодействует со светом определенным образом, что приводит к спектральному отпечатку пальца. Эти уникальные отпечатки пальцев имеют большое значение для идентификации и классификации всех видов материалов и объектов, а также жизненно важны для дальнейшей автоматизации промышленных процессов. Это позволяет, например, выявить коррозию на конструктивных элементах моста.
Наиболее распространенная реализация этих камер называется «метелкой», которая сканирует сцену построчно и занимает несколько секунд или даже минут. Кроме того, эти камеры собираются вручную из множества отдельных компонентов, включая дорогую и тяжелую прецизионную оптику в стекле. Он требует тщательной настройки и калибровки. Эти факторы реализации означают, что только специалисты в области гиперспектральной визуализации могут калибровать, корректировать и интерпретировать гиперспектральные данные в реальных отраслевых решениях.
Веники прекрасно справляются с работой на конвейерной ленте, но испытывают трудности с камерой или сценой в свободном движении. Представьте себе инспекционную камеру в роботе-зонде или свободно летающий дрон. Для этого вам нужно сканировать целые кадры, желательно со скоростью видео, чтобы наблюдать за изменениями в реальном времени. Например, когда робот берет случайные предметы из корзины, он должен постоянно фотографировать, чтобы принимать новые решения после каждого действия. Когда изображение обновляется со скоростью, например, 30 кадров в секунду, получается гиперспектральное видео. Сегодня гиперспектральное видео готово к использованию в самых разных промышленных контекстах: проверка качества, сортировка и обнаружение материалов. Итак, как мы туда попали? Короткий ответ: это чиповая технология.
Используя инфраструктуру на основе КМОП и технологический процесс в чистом помещении, компания imec разработала микросхему со встроенными гиперспектральными функциями, создав оптические фильтры на основе интерференции на уровне пластины, нанеся и нанеся их непосредственно поверх пикселей сенсора изображения. Такой подход дал важные конкурентные преимущества: интегрированные устройства формирования изображений можно производить серийно по цене, сравнимой с обычными компьютерными чипами. Кроме того, они маленькие, поэтому их можно вставить в обычную камеру со стандартными объективами. Такая камера подойдет для установки на дрон или небольшого робота.
Гиперспектральный чип сочетает в себе точность традиционной технологии сканирования с повышенным удобством, обеспечивая высокую частоту обновления сцены. Он может сканировать до 2880 строк в секунду, покрывая поле зрения разрешением 2048×1088 пикселей со скоростью около 30 кадров в секунду в условиях дневного света и до 340 кадров в секунду при более высоких уровнях освещенности, что обычно используется в приложениях машинного зрения. Возможность изготовления чрезвычайно компактных, надежных и экономичных гиперспектральных функций на чипе является ключом к выводу этого типа изображений на новые рынки.
Технология создания мозаики.
Технология мозаичного построения используется для получения гиперспектральных изображений в видеорежиме. Пиксели сгруппированы в массивы 3×3, 4×4 или 5×5. Поверх каждой такой группы, например, 16 пикселей в мозаичном шаблоне 4×4, обрабатываются 16 узкополосных фильтров, эффективно создавая фильтры размером с один пиксель формирователя изображения. С такой мозаичной конструкцией больше нет необходимости в отдельном копировальном аппарате или оборудовании для разделения луча.
Для промышленных приложений научный уровень объема данных не нужен. Получение правильных спектральных диапазонов, необходимых для приложения, является ключевым. Спецификации приложения можно выполнить, выбрав правильный датчик изображения с определенной скоростью, чувствительностью или количеством пикселей.
Улучшения во всей экосистеме
Помимо интеграции чипов, необходимо было сотрудничество по всей цепочке создания стоимости, чтобы сократить разрыв между многообещающей технологией и ее применением в отрасли: от производителей оборудования для камер до конечных пользователей. В этом контексте исследователи imec объединились с Photonfocus для создания легких и компактных камер на базе интегрированных чипов. Кроме того, исследователи imec проверяют спектральные характеристики каждой камеры, а конечные пользователи получают прямую поддержку и доступ к программному обеспечению. Результат? Беспрецедентная производительность системы при значительном снижении барьера внедрения.
Говоря об оборудовании: нам нужно смотреть на свет. Хорошее мультиспектральное изображение начинается с правильного освещения. После тщательного изучения различных источников света, например, светодиодов, галогенных ламп и ламп накаливания, исследователи imec начали совместные инновации с Effilux. Непрерывная обратная связь по спектральному диапазону, мощности и стабильности обеспечила идеальное соответствие встроенным датчикам.
На другом конце производственно-сбытовой цепочки основная проблема для конечного пользователя заключалась в том, чтобы иметь возможность интерпретировать гиперспектральные данные, не будучи экспертом в области машинного обучения или гиперспектральной визуализации. Две компании-разработчики программного обеспечения, perClass и Luxflux, создали для него программный пакет, доработав API imec, программное обеспечение и лежащие в его основе алгоритмы обработки данных, снизив входной барьер для гиперспектральной информации.
Быстрый путь от проблемы к решению гиперспектральной визуализации
Эти усовершенствования по всей цепочке создания стоимости практически сократили фазу исследований и разработок для клиентов в отрасли, сократив разрыв между проблемой и ее решением в области гиперспектральной визуализации .
Объединение знаний конечных пользователей с аппаратным обеспечением оказалось необходимым для становления рынка зрелым. Новые гиперспектральные приложения и смежные компании- разработчики программного обеспечения появляются в таких областях, как точное земледелие, защита экосистем, обнаружение и обработка коррозии, добыча полезных ископаемых, проверка пищевых продуктов и обнаружение утечек газа, среди прочего. Запущена перспективная технология.
