Попросите свой компьютер или телефон перевести предложение с английского на итальянский. Нет проблем, верно? Но эта задача не так проста, как кажется. Программное обеспечение за вашим экраном должно было научиться обрабатывать сотни миллиардов параметров или задач, прежде чем отображать правильное слово, а выполнение этих задач требует энергии.
Теперь исследователи из Национальной ускорительной лаборатории SLAC Министерства энергетики и других государственных и частных учреждений ищут способы обеспечить меньше энергии для программных и аппаратных систем, продолжая при этом выполнять повседневные задачи, такие как языковой перевод, а также решать все более сложные, но социально важные задачи . важные проблемы, такие как разработка новых лекарств от рака, вакцин против COVID-19 и беспилотных автомобилей.
Эта вычислительная работа в SLAC является частью более крупной национальной инициативы Министерства энергетики, возглавляемой Управлением передовых материалов и производственных технологий, под названием «Масштабирование энергоэффективности на 2 десятилетия» (EES2), о которой было объявлено в сентябре 2022 года. В инициативе также участвуют несколько национальных лабораторий. как лидеры отрасли, и сосредоточится на повышении энергоэффективности полупроводников в 1000 раз в течение следующих двух десятилетий, говорится в инициативах. К 2030 году полупроводники смогут потреблять почти 20 процентов мировой энергии, а это означает, что повышение эффективности этого сектора необходимо для роста экономики и борьбы с климатическим кризисом, говорится в инициативе.
На бумаге адаптировать программные модели для снижения их энергопотребления просто: просто включите новую переменную проекта, которая учитывает энергопотребление модели при разработке ее алгоритма, — сказал Садасиван Шанкар, менеджер по исследовательским технологиям в SLAC и адъюнкт-профессор Стэнфордского университета. . Однако во многих программных моделях, например в тех, которые основаны на машинном обучении, эта переменная расчета энергии отсутствует. Вместо этого они часто строятся с производительностью, а не эффективностью, как их движущей силой, сказал он.
В этом вопросе и ответе Шанкар объясняет, как проекты его команды в SLAC будут способствовать повышению энергоэффективности вычислений в будущем.
Вычислительная техника — это большая и широкая область. Какие задачи решает ваша команда?
В настоящее время мы рассматриваем три основные части вычислений: алгоритмы, архитектуру и аппаратное обеспечение. Для алгоритмов мы изучим, как уменьшить энергию, требуемую алгоритмами и моделями машинного обучения . Одним из способов повышения энергоэффективности этих моделей является использование специализированных алгоритмов, которые вычисляют конкретные задачи для каждого уникального приложения, в то время как более общие алгоритмы разрабатываются и применяются для выполнения ряда задач.
Вторая часть, которую мы рассматриваем, — это то, как проектировать архитектуру программного обеспечения и его алгоритмы вместе — так называемый «совместный дизайн» — вместо того, чтобы проектировать их независимо друг от друга. Если эти компоненты разработаны совместно, им потребуется меньше энергии для работы. И в-третьих, мы рассматриваем фундаментальный уровень материалов, устройств и межсоединений, выделяющих меньше тепла.
Чтобы заняться этими тремя областями, мы собираемся изучить эффективность природы, например, то, как наш мозг и молекулярные клетки выполняют задачи, и попытаться применить эти знания к нашей конструкции вычислительных систем.
Расскажите о важности моделей машинного обучения в современном обществе. К каким проблемам мы видим применение моделей?
Модели машинного обучения применяются во все большем количестве областей: от инструментов обработки речи до проблем биологии и химии, электромобилей и даже ускорителей частиц, таких как SLAC.
Конкретный пример, который мы уже рассмотрели, — это модели изучения языка. Несколько моделей обучения естественному языку имеют более 170 миллиардов параметров, которые необходимо оптимизировать при обучении модели. Модели машинного обучения обычно пытаются изучить закономерности между определенным набором входных и выходных данных в большом наборе данных. Эта часть построения модели называется обучением, и она невероятно энергозатратна.
В нашем предварительном анализе мы обнаружили, что одноязыковая модель (например, ChatGPT) по нижней границе требует примерно столько же электроэнергии, сколько среднемесячное потребление электроэнергии городом Атланта или Лос-Анджелес в 2017 году. Следовательно, если мы сможем разработать более эффективную тренировочных моделей, например, с использованием специальных, адаптированных алгоритмов, потребление энергии для обучения может снизиться. Мы намерены систематически анализировать эти потребности в энергии для тренировок и использовать изученные принципы для разработки более эффективных решений по применению ИИ.
Требуют ли вычисления сегодня больше энергии, чем десять лет назад?
Вычисления сегодня более энергоэффективны, чем десять лет назад, но сегодня мы используем гораздо больше вычислительных инструментов, чем десять лет назад. Таким образом, в целом количество энергии, необходимой для вычислений, со временем увеличилось. Мы хотим согнуть кривую траектории энергопотребления вниз, чтобы мы могли продолжать развивать вычислительные мощности по всему миру, не оказывая неблагоприятного воздействия на климат.
Какова, на ваш взгляд, самая сложная задача по снижению энергопотребления вычислений?
Сейчас я бы сказал, что масштабирование новых производственных технологий — наша самая сложная задача. В настоящее время новые поколения технологий имеют размер менее 10 нанометров и приближаются к масштабам длины наравне с расстоянием между атомами. Кроме того, разработка новых технологий стоит дорого и требует нескольких миллиардов долларов на исследования и разработки.
Второй задачей является изменение архитектуры и аппаратного обеспечения , что сложнее, чем изменение программного обеспечения и алгоритмов. Аппаратное обеспечение требует масштабного производства, и в нем участвует гораздо больше игроков. Допустим, вы придумали самый эффективный алгоритм на самом эффективном устройстве, но на его производство ушло двадцать миллиардов долларов. В этом случае проект провалился, потому что масштабное строительство слишком дорого. Вы должны смотреть на производство в сочетании с новыми архитектурами, дизайном программного обеспечения и другими факторами. В противном случае все усилия превратятся в спорную академическую дискуссию. Мы надеемся разработать несколько решений для наших исследовательских и промышленных партнеров.
Третья задача заключается в разработке алгоритмов и программного обеспечения, которые могли бы справиться с нашей растущей зависимостью от технологий, но при этом были бы энергоэффективными.
Какие будущие направления исследований в области вычислительной энергоэффективности вас больше всего интересуют?
Самая захватывающая возможность для меня — использовать сам искусственный интеллект для решения нашей проблемы энергоэффективности в вычислениях. Давайте воспользуемся положительным аспектом ИИ, чтобы сократить потребление энергии.
Другая захватывающая вещь заключается в том, что в будущем компьютеры будут больше похожи на мозг с распределенными датчиками, которые требуют гораздо меньше энергии, чем сегодняшние устройства для обработки оптимальной информации. Эти будущие компьютеры могут быть вдохновлены способами соединения нейронов и могут заимствовать принципы квантовых вычислений, но также могут выполнять и классические вычисления. Это заставит наши машины работать как природа — более эффективно.
