Нейронные сети — это алгоритмы обучения, которые аппроксимируют решение задачи путем обучения на доступных данных. Однако обычно неясно, как именно они этого добиваются. Два молодых физика из Базеля вывели математические выражения, позволяющие вычислить оптимальное решение без обучения сети. Их результаты не только дают представление о том, как работают эти алгоритмы обучения, но также могут помочь обнаружить неизвестные фазовые переходы в физических системах в будущем.
Нейронные сети основаны на принципе работы головного мозга. Такие компьютерные алгоритмы учатся решать задачи путем многократного обучения и могут, например, различать объекты или обрабатывать разговорную речь.
Уже несколько лет физики пытаются использовать нейронные сети и для обнаружения фазовых переходов . Фазовые переходы знакомы нам из повседневного опыта, например, когда вода превращается в лед, но они также происходят в более сложной форме между различными фазами магнитных материалов или квантовых систем , где их часто трудно обнаружить.
Джулиан Арнольд и Франк Шефер, два доктора философии. Студенты исследовательской группы профессора доктора Кристофа Брудера из Базельского университета теперь в одиночку вывели математические выражения, с помощью которых такие фазовые переходы могут быть обнаружены быстрее, чем раньше. Недавно они опубликовали свои результаты в Physical Review X.
Пропуск тренировок экономит время
Нейронная сеть обучается, систематически изменяя параметры во многих тренировочных раундах, чтобы прогнозы, рассчитанные сетью, все более и более точно соответствовали тренировочным данным, поступающим в нее. Такими обучающими данными могут быть пиксели картинок или, собственно, результаты измерений физической системы с фазовыми переходами, о которых хотелось бы что-то узнать.
«Нейронные сети уже достаточно хорошо научились обнаруживать фазовые переходы, — говорит Арнольд, — но как именно они это делают, обычно остается совершенно неясным». Чтобы изменить эту ситуацию и пролить свет на «черный ящик» нейронной сети, Арнольд и Шефер рассмотрели частный случай сетей с бесконечным числом параметров, которые, в принципе, также проходят бесконечное количество тренировочных раундов.
Вообще давно известно, что предсказания таких сетей всегда стремятся к некоторому оптимальному решению. Арнольд и Шефер взяли это за отправную точку для вывода математических формул, которые позволяют напрямую вычислять это оптимальное решение без фактического обучения сети. «Это сокращение значительно сокращает время вычислений, — объясняет Арнольд. — Время, необходимое для расчета нашего решения, равно времени одного тренировочного раунда небольшой сети».
Взгляд в сеть
Помимо экономии времени метод, разработанный базельскими физиками, имеет и то преимущество, что полученные уравнения дают некоторое представление о функционировании нейронных сетей и, следовательно, об исследуемых физических системах.
На данный момент Арнольд и Шефер проверили свой метод на компьютерных данных. Вскоре они также хотят применить этот метод к реальным данным измерений. В будущем это может позволить обнаруживать пока неизвестные фазовые переходы, например, в квантовых симуляторах или в новых материалах.
