Учитывая огромный потенциал искусственного интеллекта (ИИ) в решении проблем, нетрудно предположить, что ИИ также может помочь нам в борьбе с климатическим кризисом. Однако, если мы рассмотрим энергетические потребности моделей ИИ, становится ясно, что эта технология является не только решением, но и частью климатической проблемы.
Выбросы исходят от инфраструктуры, связанной с искусственным интеллектом, например, от строительства и эксплуатации центров обработки данных, которые обрабатывают большие объемы информации, необходимой для поддержания этих систем.
Но различные технологические подходы к созданию систем искусственного интеллекта могут помочь уменьшить выбросы углекислого газа. Две технологии, в частности, обещают сделать это: усиление нейронных сетей и обучение на протяжении всей жизни.
Срок службы системы искусственного интеллекта можно разделить на две фазы: обучение и вывод. Во время обучения соответствующий набор данных используется для построения и настройки (улучшения) системы. В результате обученная система генерирует прогнозы на основе ранее невидимых данных.
Например, обучение ИИ, который будет использоваться в беспилотных автомобилях , потребует набора данных о множестве различных сценариев вождения и решений, принимаемых водителями-людьми.
После этапа обучения система искусственного интеллекта будет прогнозировать эффективные маневры беспилотного автомобиля. Искусственные нейронные сети (ИНС) — это базовая технология, используемая в большинстве современных систем искусственного интеллекта.
У них есть много различных элементов, называемых параметрами, значения которых корректируются на этапе обучения системы ИИ. В общей сложности эти параметры могут достигать более 100 миллиардов.
Хотя большое количество параметров улучшает возможности ИНС, они также делают процессы обучения и вывода ресурсоемкими. Для сравнения: обучение GPT-3 (предшественница системы искусственного интеллекта нынешнего ChatGPT) произвело 502 метрические тонны углерода, что эквивалентно вождению 112 автомобилей с бензиновым двигателем в течение года.
Согласно выводам, GPT-3 дополнительно выделяет 8,4 тонны CO₂ ежегодно . С тех пор, как в начале 2010-х годов начался бум искусственного интеллекта, энергетические потребности систем искусственного интеллекта, известных как большие языковые модели (LLM) — тип технологии, лежащей в основе ChatGPT, — выросли в 300 000 раз.
С ростом повсеместного распространения и сложности моделей ИИ эта тенденция будет продолжаться, что потенциально сделает ИИ значительным источником выбросов CO₂. Фактически, наши текущие оценки могут быть ниже, чем фактический углеродный след ИИ из-за отсутствия стандартных и точных методов измерения выбросов, связанных с ИИ.
Пиковые нейронные сети
Ранее упомянутые новые технологии, импульсные нейронные сети (SNN) и обучение на протяжении всей жизни (L2), могут снизить постоянно растущий углеродный след ИИ, при этом SNN действуют как энергоэффективная альтернатива ANN.
ИНС работают, обрабатывая и изучая закономерности данных, что позволяет им делать прогнозы. Они работают с десятичными числами. Чтобы производить точные вычисления, особенно при умножении чисел с десятичной запятой, компьютер должен быть очень точным. Именно из-за этих десятичных чисел ИНС требуют много вычислительной мощности, памяти и времени.
Это означает, что ИНС становятся более энергоемкими по мере того, как сети становятся больше и сложнее. И ANN, и SNN созданы по принципу мозга, который содержит миллиарды нейронов (нервных клеток), связанных друг с другом посредством синапсов.
Как и мозг, ИНС и СНС также имеют компоненты, которые исследователи называют нейронами, хотя они являются искусственными, а не биологическими. Ключевое различие между двумя типами нейронных сетей заключается в том, как отдельные нейроны передают информацию друг другу.
Нейроны человеческого мозга общаются друг с другом, передавая прерывистые электрические сигналы, называемые спайками. Сами шипы не несут информации. Вместо этого информация заключается в сроках этих всплесков. Эта бинарная характеристика всплесков по принципу «все или ничего» (обычно обозначаемая как 0 или 1) подразумевает, что нейроны активны, когда они вызывают всплески, и неактивны в противном случае.
Это одна из причин энергосберегающей обработки данных в мозге.
Точно так же, как азбука Морзе использует определенные последовательности точек и тире для передачи сообщений, SNN используют шаблоны или тайминги импульсов для обработки и передачи информации. Таким образом, хотя искусственные нейроны в ИНС всегда активны, СНС потребляют энергию только при возникновении всплеска.
В противном случае их потребности в энергии близки к нулю. SNN могут быть в 280 раз более энергоэффективными, чем ANN.
Мои коллеги и я разрабатываем алгоритмы обучения для SNN , которые могут еще больше приблизить их к энергоэффективности, демонстрируемой мозгом. Более низкие вычислительные требования также подразумевают, что SNN смогут принимать решения быстрее .
Эти свойства делают SNN полезными для широкого спектра применений, включая исследование космоса, оборону и беспилотные автомобили из-за ограниченных источников энергии, доступных в этих сценариях.
L2 — это еще одна стратегия снижения общих энергетических потребностей ИНС в течение их срока службы, над которой мы также работаем.
Последовательное обучение ИНС (когда системы учатся на основе последовательностей данных) по новым проблемам заставляет их забывать свои предыдущие знания при изучении новых задач. ИНС требуют переподготовки с нуля, когда их операционная среда меняется, что еще больше увеличивает выбросы, связанные с ИИ.
L2 — это набор алгоритмов, которые позволяют моделям ИИ последовательно обучаться множеству задач с минимальным забыванием или вообще без него. L2 позволяет моделям учиться на протяжении всей жизни , опираясь на имеющиеся у них знания, без необходимости переобучать их с нуля.
Область искусственного интеллекта быстро развивается, и появляются другие потенциальные достижения, которые могут снизить энергетические потребности этой технологии. Например, создание меньших моделей ИИ, которые обладают теми же прогностическими возможностями, что и более крупная модель.
Достижения в области квантовых вычислений — другого подхода к созданию компьютеров, использующего явления из мира квантовой физики — также позволят ускорить обучение и вывод с использованием ИНС и СНС. Превосходные вычислительные возможности, предлагаемые квантовыми вычислениями, могут позволить нам найти энергоэффективные решения для ИИ в гораздо большем масштабе.
Проблема изменения климата требует, чтобы мы попытались найти решения для быстро развивающихся областей, таких как искусственный интеллект, до того, как их углеродный след станет слишком большим.
