Группа исследователей из Института машинного интеллекта Альберты (Amii) раскрыла подробности загадочной проблемы в машинном обучении — открытие, которое может стать важным шагом на пути к созданию передового ИИ, способного эффективно функционировать в реальном мире.
Статья под названием «Потеря пластичности при глубоком непрерывном обучении» опубликована в журнале Nature. Ее авторами являются Шибханш Дохаре, Дж. Фернандо Эрнандес-Гарсия, Цинфэн Лан, Параш Рахман, а также стипендиаты Amii и председатели Канадского CIFAR AI А. Рупам Махмуд и Ричард С. Саттон.
В своей статье группа исследует сложную проблему, которая давно подозревается в моделях глубокого обучения , но не привлекает к себе особого внимания: по какой-то причине многие агенты глубокого обучения, вовлеченные в непрерывное обучение, теряют способность к обучению, и их производительность резко снижается.
«Мы установили, что с текущим глубоким обучением определенно есть проблема», — сказал Махмуд. «Когда вам нужно постоянно адаптироваться, мы показали, что глубокое обучение в конечном итоге просто перестает работать. Настолько эффективно, что вы не можете продолжать учиться».
Он указывает на то, что агент ИИ не только теряет способность изучать новые вещи, но и не может заново выучить то, что он узнал в прошлом, после того, как оно забыто. Исследователи назвали это явление «потерей пластичности», заимствуя термин из нейронауки, где пластичность относится к способности мозга адаптировать свою структуру и формировать новые нейронные связи.
Текущее состояние глубокого обучения
Исследователи утверждают, что потеря пластичности является серьезной проблемой для разработки ИИ, способного эффективно справляться со сложностью окружающего мира, и ее необходимо решить для разработки искусственного интеллекта человеческого уровня.
Многие существующие модели не предназначены для постоянного обучения. Саттон приводит в пример ChatGPT; он не учится постоянно. Вместо этого его создатели обучают модель в течение определенного времени. После окончания обучения модель развертывается без дальнейшего обучения.
Даже при таком подходе объединение новых и старых данных в память модели может быть сложным. В большинстве случаев эффективнее просто начать с нуля, стереть память и обучить модель на всем заново. Для больших моделей, таких как ChatGPT, этот процесс может занять много времени и стоить миллионы долларов каждый раз.
Это также ограничивает то, что может делать модель. Для быстро меняющихся сред, таких как финансовые рынки, например, постоянное обучение является необходимостью, говорит Саттон.
Спрятанный на виду
По словам команды, первым шагом к решению проблемы потери пластичности было показать, что это происходит и имеет значение. Проблема «пряталась на виду» — были намеки на то, что потеря пластичности может быть распространенной проблемой в глубоком обучении, но было проведено очень мало исследований, чтобы фактически изучить ее.
Рахман говорит, что впервые заинтересовался изучением этой проблемы, потому что постоянно видел намеки на нее, и это его заинтриговало.
«Я читал статью, и в приложениях можно было увидеть что-то о том, как упала производительность. А затем, некоторое время спустя, это же можно было увидеть и в другой статье», — сказал он.
Исследовательская группа разработала несколько экспериментов для поиска потери пластичности в системах глубокого обучения. В контролируемом обучении они обучали сети последовательностям задач классификации. Например, сеть училась различать кошек и собак в первой задаче, затем бобров и гусей во второй задаче и так далее для многих задач. Они выдвинули гипотезу, что по мере того, как сети теряли способность к обучению, их способность к дифференциации снижалась в каждой последующей задаче.
Именно это и произошло.
«Мы использовали несколько различных наборов данных для проверки, чтобы показать, что это может быть широко распространено. Это действительно показывает, что это происходит не в узком уголке глубокого обучения», — сказал Саттон.
Обращение с мертвыми
После того, как проблема была определена, исследователи должны были задаться вопросом: можно ли ее решить? Является ли потеря пластичности неотъемлемой проблемой для сетей непрерывного глубокого обучения или есть способ позволить им продолжать обучение?
Они нашли надежду в методе, основанном на модификации одного из фундаментальных алгоритмов, обеспечивающих работу нейронных сетей: обратного распространения.
Нейронные сети построены так, чтобы отражать структуру человеческого мозга: они содержат единицы, которые могут передавать информацию и устанавливать связи с другими единицами, как нейроны. Отдельные единицы могут передавать информацию другим слоям единиц, которые делают то же самое. Все это вносит вклад в общий выход сети.
Однако при адаптации силы связи или «весов» сети с обратным распространением ошибки эти блоки в большинстве случаев будут вычислять выходные данные, которые на самом деле не способствуют обучению. Они также не будут изучать новые выходные данные, поэтому они станут мертвым грузом для сети и перестанут способствовать процессу обучения.
Махмуд отмечает, что при долгосрочном непрерывном обучении до 90% единиц сети могут стать мертвыми. И когда достаточное количество прекращает вносить свой вклад, модель теряет пластичность.
Поэтому команда разработала модифицированный метод, который они назвали «непрерывное обратное распространение».
Дохар говорит, что это отличается от обратного распространения ключевым образом: в то время как обратное распространение случайным образом инициализирует блоки только в самом начале, непрерывное обратное распространение делает это постоянно. Время от времени, во время обучения, оно выбирает некоторые бесполезные блоки, например, мертвые, и повторно инициализирует их со случайными весами. Используя непрерывное обратное распространение, они обнаруживают, что модели могут непрерывно обучаться гораздо дольше, иногда, казалось бы, бесконечно.
Саттон говорит, что другие исследователи, возможно, придумают лучшие решения для борьбы с потерей пластичности, но их подход с непрерывным обратным распространением ошибки, по крайней мере, показывает, что проблему можно решить, и эта сложная проблема не присуща глубоким сетям.
Он надеется, что работа команды привлечет больше внимания к потере пластичности и побудит других исследователей изучить этот вопрос.
«Мы определили эту проблему таким образом, что люди должны признать ее. Постепенно эта область становится более склонной признать, что глубокое обучение, несмотря на свои успехи, имеет фундаментальные проблемы, которые необходимо решать», — сказал он. «Поэтому мы надеемся, что это немного приоткроет этот вопрос».
