Больше не всегда лучше — иногда это проблема. С очень сложными данными, которые имеют много измерений из-за их многочисленных параметров, корреляции часто уже не распознаются. Тем более, что экспериментально полученные данные дополнительно возмущены и зашумлены из-за неконтролируемых воздействий.

Теперь помочь может новое программное обеспечение, основанное на методах искусственного интеллекта: это особый класс нейронных сетей (НС), который специалисты называют «распутанной вариационной сетью автоэнкодера (β-VAE)». Проще говоря, первый NN заботится о сжатии данных, а второй NN впоследствии восстанавливает данные.

«В процессе две нейронные сети обучаются так, чтобы люди могли интерпретировать сжатую форму», — объясняет доктор Грегор Хартманн. Физик и специалист по данным руководит Объединенной лабораторией методов искусственного интеллекта в HZB, которой HZB управляет совместно с Университетом Касселя.

Google Deepmind уже предлагал использовать β-VAE в 2017 году. Многие эксперты предполагали, что применение в реальном мире будет сложным, поскольку нелинейные компоненты трудно распутать.

«После нескольких лет изучения того, как учатся нейронные сети, это наконец сработало», — говорит Хартманн. β-VAE могут извлекать основной принцип из данных без предварительного знания.

В исследовании, опубликованном в журнале Scientific Reports , группа использовала программное обеспечение для определения энергии фотонов FLASH из однократных фотоэлектронных спектров.

«Нам удалось извлечь эту информацию из зашумленных данных о времени пролета электронов, и это намного лучше, чем с помощью обычных методов анализа», — говорит Хартманн. Таким образом можно очистить даже данные со специфическими для детектора артефактами.

«Этот метод действительно хорош, когда речь идет об искаженных данных», — говорит Хартманн. Программа даже способна реконструировать крошечные сигналы, которые не были видны в необработанных данных. Такие сети могут помочь обнаружить неожиданные физические эффекты или корреляции в больших наборах экспериментальных данных. «Интеллектуальное сжатие данных на основе ИИ — очень мощный инструмент не только в фотонной науке, — говорит Хартманн.

В общей сложности Хартманн и его команда потратили на разработку программного обеспечения три года. «Но теперь это более или менее подключи и работай. Мы надеемся, что вскоре многие коллеги придут со своими данными, и мы сможем их поддержать».