Искусственные нейронные сети лучше учатся, когда проводят время, вообще не обучаясь

Прочитано: 762 раз(а)


В зависимости от возраста человеку необходимо от 7 до 13 часов сна в сутки. За это время многое происходит: частота сердечных сокращений, дыхания и обмена веществ приливы и отливы; регулируются уровни гормонов; тело расслабляется. Не так много в мозгу.

« Мозг очень занят, когда мы спим, повторяя то, что мы узнали в течение дня», — сказал Максим Баженов, доктор медицинских наук, профессор медицины и исследователь сна в Медицинской школе Калифорнийского университета в Сан-Диего. «Сон помогает реорганизовать воспоминания и представить их наиболее эффективным образом».

В предыдущей опубликованной работе Баженов и его коллеги сообщали, как сон строит рациональную память , способность запоминать произвольные или косвенные ассоциации между объектами, людьми или событиями и защищает от забывания старых воспоминаний .

Искусственные нейронные сети используют архитектуру человеческого мозга для улучшения многочисленных технологий и систем, от фундаментальной науки и медицины до финансов и социальных сетей. В некотором смысле они достигли сверхчеловеческой производительности, например скорости вычислений, но терпят неудачу в одном ключевом аспекте: когда искусственные нейронные сети обучаются последовательно, новая информация перезаписывает предыдущую информацию, явление, называемое катастрофическим забыванием.

«Напротив, человеческий мозг постоянно учится и включает новые данные в существующие знания, — сказал Баженов, — и обычно лучше всего учится, когда новое обучение чередуется с периодами сна для консолидации памяти».

В выпуске журнала PLOS Computational Biology от 18 ноября 2022 г. старший автор Баженов и его коллеги обсуждают, как биологические модели могут помочь снизить угрозу катастрофического забывания в искусственных нейронных сетях, повышая их полезность в широком спектре исследовательских интересов.

Ученые использовали импульсные нейронные сети, которые искусственно имитируют естественные нейронные системы: вместо непрерывной передачи информации она передается в виде дискретных событий (пиков) в определенные моменты времени.

Они обнаружили, что когда пиковые сети были обучены новой задаче, но со случайными периодами отключения, которые имитировали сон, катастрофическое забывание было смягчено. Как и в случае с человеческим мозгом, говорят авторы исследования, «сон» для сетей позволял им воспроизводить старые воспоминания без явного использования старых обучающих данных.

Воспоминания представлены в человеческом мозгу паттернами синаптического веса — силы или амплитуды связи между двумя нейронами.

«Когда мы узнаём новую информацию, — сказал Баженов, — нейроны возбуждаются в определённом порядке, и это увеличивает количество синапсов между ними. Во сне спонтанно повторяются паттерны всплесков, изученные во время нашего бодрствования. Это называется реактивацией или воспроизведением.

«Синаптическая пластичность, способность изменяться или формироваться, все еще сохраняется во время сна, и она может еще больше усилить паттерны синаптического веса, которые представляют память , помогая предотвратить забывание или обеспечить передачу знаний от старых задач к новым».

Когда Баженов и его коллеги применили этот подход к искусственным нейронным сетям , они обнаружили, что он помогает сетям избежать катастрофического забывания.

«Это означало, что эти сети могли непрерывно учиться, как люди или животные. Понимание того, как человеческий мозг обрабатывает информацию во время сна, может помочь увеличить память у людей. Увеличение ритмов сна может привести к улучшению памяти.

«В других проектах мы используем компьютерные модели для разработки оптимальных стратегий применения стимуляции во время сна, таких как слуховые тоны, которые улучшают ритмы сна и улучшают обучение. Это может быть особенно важно, когда память неоптимальна, например, когда память ухудшается в старения или при некоторых состояниях, таких как болезнь Альцгеймера».

Искусственные нейронные сети лучше учатся, когда проводят время, вообще не обучаясь



Новости партнеров