Приложения ИИ, такие как большие языковые модели (LLM), стали неотъемлемой частью нашей повседневной жизни. Необходимые вычислительные, складские и передающие мощности предоставляются центрами обработки данных, потребляющими огромное количество энергии. Только в Германии в 2020 году это составило около 16 млрд кВт·ч, или около 1% от общего потребления энергии в стране. Ожидается, что к 2025 году эта цифра увеличится до 22 млрд кВт·ч.
Появление более сложных приложений ИИ в ближайшие годы существенно увеличит требования к мощности центров обработки данных. Эти приложения будут потреблять огромное количество энергии для обучения нейронных сетей. Чтобы противостоять этой тенденции, исследователи из Мюнхенского технического университета (TUM) разработали метод обучения, который в 100 раз быстрее, достигая при этом точности, сопоставимой с существующими процедурами. Это значительно снизит потребление энергии для обучения.
Они представили свое исследование на конференции по системам обработки нейронной информации ( NeurIPS 2024 ), которая прошла в Ванкувере 10–15 декабря.
Функционирование нейронных сетей, которые используются в ИИ для таких задач, как распознавание изображений или обработка языка, вдохновлено тем, как работает человеческий мозг. Эти сети состоят из взаимосвязанных узлов, называемых искусственными нейронами. Входные сигналы взвешиваются с определенными параметрами, а затем суммируются. Если определенный порог превышен, сигнал передается на следующий узел.
Для обучения сети начальный выбор значений параметров обычно рандомизируется, например, с использованием нормального распределения. Затем значения постепенно корректируются для постепенного улучшения предсказаний сети. Из-за множества требуемых итераций это обучение чрезвычайно требовательно и потребляет много электроэнергии.
Параметры, выбранные по вероятностям
Феликс Дитрих, профессор машинного обучения с физикой, и его команда разработали новый метод. Вместо итеративного определения параметров между узлами, их подход использует вероятности. Их вероятностный метод основан на целевом использовании значений в критических местах обучающих данных, где происходят большие и быстрые изменения значений.
Целью настоящего исследования является использование этого подхода для получения энергосберегающих динамических систем из данных. Такие системы изменяются с течением времени в соответствии с определенными правилами и встречаются, например, в климатических моделях и на финансовых рынках.
«Наш метод позволяет определять требуемые параметры с минимальными вычислительными затратами. Это может сделать обучение нейронных сетей намного более быстрым и, как следствие, более энергоэффективным», — говорит Дитрих. «Кроме того, мы увидели, что точность нового метода сопоставима с точностью итеративно обученных сетей».
