Развитие и влияние искусственного интеллекта ограничены мощностью и энергией, необходимыми для обучения моделей машинного обучения. Как же исследователи работают над повышением эффективности вычислений, чтобы удовлетворить растущий спрос на ИИ и необходимую для него вычислительную мощность?

По словам Мурали Аннаварама, заведующего кафедрой электроэнергетики имени Ллойда Ф. Ханта и профессора электротехники, вычислительной техники и информатики, при обучении компьютеров процессу обучения зависит от трех факторов, влияющих на время и энергию, затрачиваемые на обучение: размер модели; размер набора данных или объем информации, которую компьютер должен обработать; и эффективность компьютера, выполняющего эти задачи.

Исследователи из Школы передовых вычислительных технологий Университета Южной Калифорнии используют различные подходы для повышения эффективности вычислений в области искусственного интеллекта. Некоторые пытаются снизить энергопотребление алгоритмов ИИ. Другие стремятся изменить конструкцию и функциональность компьютерных чипов, обрабатывающих информацию, включая сами материалы, из которых эти чипы изготовлены.

Изменение подхода к обучению ИИ

Когда мы в младенчестве учим новое слово, например, «собака», мы поначалу можем слишком обобщать, называя любое четвероногое животное собакой. Но нам не нужно видеть каждую собаку в мире, чтобы узнать её. Наш мозг формирует модели поведения на основе ограниченного опыта и совершенствует их со временем.

Машины, с другой стороны, обучаются с помощью нейронных сетей, которые выявляют закономерности в данных и делают выводы. Нейронные сети, созданные по образцу биологических сетей нейронов, таких как сети в человеческом мозге, функционируют как обширная взаимосвязанная сеть, обрабатывая миллиарды обучающих выборок, чтобы изучить взаимосвязи и извлечь смысл из новой информации.

Например, современные модели обучения ИИ могут просматривать миллионы различных изображений животных с явной маркировкой, чтобы научиться распознавать немаркированное четвероногое существо на основе информации, на которой они обучались ранее. Аналогично, модели, такие как ChatGPT, просматривают миллиарды страниц текста в Интернете, чтобы стать опытными в задачах автодополнения текста.

Но эта управляемая машиной «охота за сокровищами» требует огромных затрат энергии. Массуд Педрам, заведующий кафедрой электротехники и вычислительной техники имени Чарльза Ли Пауэлла и профессор электротехники и вычислительной техники, задает важный вопрос: можем ли мы научить ИИ учиться более эффективно, используя меньше шагов или примеров?

Один из подходов, используемых лабораторией Педрама, заключается в упрощении моделей машинного обучения. Используя такие методы, как обрезка, его команда «обрезает» ненужные части нейронных сетей, подобно обрезке сухих веток на растении. Это сокращает количество необходимых шагов за счет сужения параметров и возможностей, что делает обучение ИИ быстрее и энергоэффективнее.

Его команда также разрабатывает методы квантования, которые используют меньшее количество битов для представления данных и параметров модели. Кроме того, его команда использует предварительно обученные знания и переносит знания из смежных задач для обеспечения эффективного обучения при ограниченном объеме данных. Педрам отмечает, что такой подход «приводит к сокращению времени обучения, снижению требований к аппаратным ресурсам, повышению энергоэффективности и улучшению обобщающей способности, в конечном итоге обеспечивая лучшую производительность в новых, смежных задачах при меньших вычислительных затратах».

Изменение типа оборудования: аргументы в пользу использования процессоров (CPU) вместо видеокарт (GPU) для искусственного интеллекта и больших языковых моделей:

Профессор Аннаварам говорит, что долгое время отрасль уделяла большое внимание увеличению размеров моделей машинного обучения и наборов данных. Это связано с тем, что чем больше наборы данных, тем больше информации и примеров у вас есть, и тем выше вероятность того, что выводы, полученные с помощью ИИ, будут точными.

Эта тенденция к созданию всё более крупных моделей привела к появлению новой эры моделей машинного обучения, называемых большими языковыми моделями (LLM). Сегодня LLM могут выполнять такие задачи, как обобщение всех отзывов пользователей о данном ресторане и автоматическое присвоение ресторану звездного рейтинга на основе «эмоционального настроя», извлеченного из отзывов.

Однако, как отмечает Аннаварам, «сосредоточение внимания на производительности модели без учета эффективности приведет к непомерному росту затрат».

В настоящее время искусственный интеллект часто использует специализированное оборудование: устройства, называемые графическими процессорами или сокращенно «GPU». Они были разработаны для графики, но оказались превосходно подходящими для ИИ. Однако, как говорит Аннаварам, они невероятно дороги и энергоемки.

Вместо использования исключительно графических процессоров для больших языковых моделей, команда Аннаварама полагается на более дешевые компьютеры, известные как центральные процессоры (ЦП), для помощи в некоторой «предварительной обработке» данных. В частности, его лаборатория выступает за использование гораздо более дешевой и доступной памяти ЦП, чтобы снизить затраты на использование дорогостоящей памяти графических процессоров.

Он предлагает объединить преимущества как центральных процессоров (CPU), так и графических процессоров (GPU): использовать память CPU для хранения информации о модели, а GPU — для выполнения вычислений. По словам Аннаварама, при таком подходе можно повысить общую эффективность системы.

В другом подходе лаборатория Педрама специализируется на оптимизации аппаратного обеспечения, оптимизируя модели машинного обучения для конкретных аппаратных платформ, таких как специализированные микросхемы, графические процессоры и программируемые пользователем вентильные матрицы, а также на тонкой настройке предварительно обученных моделей машинного обучения для конкретных задач, что, по словам Педрама, приводит к значительному повышению энергоэффективности. Это можно сравнить с использованием разных ножей для разных задач по нарезке или разных типов велосипедных шин для разных типов местности.

Педрам также оптимизирует способ ввода данных, используемых для обучения и вывода моделей ИИ/машинного обучения, в устройства, а также хранение данных, которое, по его словам, отнимает время и энергию.

Где обрабатываются вычислительные данные: Жизнь на периферии

Более десяти лет назад нью-йоркские инвестиционные банки вкладывали средства в центры обработки данных, чтобы получать информацию на доли секунды быстрее, чем конкуренты, и получать большую прибыль от высокочастотной торговли. Периферийные вычисления (edge ​​computing) основаны на схожем принципе — они позволяют обрабатывать информацию ближе к месту получения данных, а не в централизованных центрах обработки данных.

« Обработка информации на периферии может значительно снизить энергопотребление», — говорит Педрам. Одним из примеров применения технологии периферийных вычислений может быть создание беспилотных автомобилей, которым необходимо незамедлительно обрабатывать информацию о дорожных условиях для принятия мгновенных решений.

Педрам говорит: «Эта новая технология, которая может выполнять большую часть обработки задач ИИ/машинного обучения на периферии, обеспечивает более быструю реакцию, экономит пропускную способность, повышает конфиденциальность данных и улучшает масштабируемость».

Информационные «батареи»

Доцент кафедры компьютерных наук Барат Рагхаван задается вопросом, могут ли более мелкие шаги привести к значительной экономии энергии. Представьте, говорит Барат, если бы пользователи компьютеров могли выполнять энергоемкие предварительные вычисления для ИИ, когда спрос на энергию не высок, тем самым снижая нагрузку на электросеть. В этом заключается идея его концепции «информационных батарей», в которых вычисления выполняются заранее, а не все сразу.

« Информационные батареи могут как экономить энергию, так и помогать энергосистеме в качестве средства хранения энергии», — говорит Рагхаван.

«Сейчас бывают периоды года, когда солнечной энергии слишком много, энергия, которая в буквальном смысле была бы выброшена, если бы не использовалась. Спекулятивные вычисления со сдвигом во времени могут продуктивно использовать эту энергию. Сохраняя результаты этих вычислений, мы накапливаем энергию в виде полезных вычислительных данных, что позволяет нам получать электроэнергию из сети, когда она в избытке, и использовать ее, когда ее нет», — добавляет он.

Изменение подхода к проектированию компьютеров. Часть 1: Сверхпроводящая электроника.

«В течение последнего десятилетия энергетические бюджеты стали ограничивающими факторами для микросхем комплементарной металл-оксидной полупроводниковой (CMOS) технологии из-за растущей стоимости распределения электроэнергии, а также стоимости охлаждения компьютерных чипов», — говорит Питер Бирел, профессор электротехники и вычислительной техники.

Бирел говорит: «Радикальный подход к решению этой проблемы — это так называемая сверхпроводящая электроника, которая обещает в 100–1000 раз меньшее энергопотребление, чем КМОП-технология, при той же, если не более высокой, производительности».

«Это требует новой парадигмы для перестройки и проектирования компьютеров», — говорит Бирел.

В настоящее время компьютеры используют полупроводники или кремниевые микросхемы, в состав которых входят переключатели, называемые транзисторами. Эти транзисторы изготавливаются из полупроводников, которые используют свое свойство проводить заряд только при соответствующем воздействии.

Эта частичная проводимость позволяет двоичному коду «0» («выключение») и «1» («включение») лежать в основе всех CMOS-чипов компьютеров. Но это переключение туда-обратно потребляет и расходует энергию. Поэтому в течение последнего десятилетия лаборатория Бирела пыталась заставить компьютеры работать по-другому, используя сверхпроводники — метод, в котором используется новый проводящий материал, ниобий, который не имеет сопротивления и не является транзистором-переключателем, а представляет собой петлю, называемую джозефсоновским переходом.

Для создания кнопки «0» или «выключено» заряд перемещается в одном направлении по замкнутому контуру, а для кнопки «включено» — в другом направлении по тому же контуру.

В частности, лаборатория Бирела недавно разработала алгоритмы, которые управляют или «синхронизируют» данные через различные части чипа, что помогает обеспечить высокую производительность при сверхнизком энергопотреблении.

В сотрудничестве с профессором Массудом Педрамом и его группой Бирел также начал третий проект, направленный на расширение его исследований и охват того, что, по его словам, «обещает аналогичные преимущества в плане низкого энергопотребления при более высокой плотности размещения элементов».

По мере развития этой новой технологии его группа надеется «продолжить разработку новых программных инструментов, которые помогут автоматизировать проектирование и обеспечат масштабируемость сверхпроводящих технологий».

Новые материалы

Джей Равичандран, профессор химической инженерии и материаловедения, а также электротехники и вычислительной техники, занимающийся синтезом новых материалов для энергоэффективных вычислительных систем. Как и Бирел, он отмечает неэффективность существующих материалов, используемых в полупроводниковых технологиях.

Он говорит: «Главная тема нашей работы — создание материалов с резким переключением (таких как оксиды и халькогениды) и устройств, для которых требуется небольшой внешний импульс, например, напряжение смещения или повышение температуры, чтобы вызвать резкое изменение электрических свойств».

«Помимо потенциала для энергоэффективных вычислений, эти материалы открывают значительные перспективы для нейроморфных вычислений, которые стремятся имитировать то, как биологические системы, в частности мозг, обрабатывают информацию», — говорит Равичандран.

Копирование человеческого мозга

Хотя компьютеры могут делать вещи быстрее, чем люди, они не так эффективны. «Человеческий мозг эффективен», — говорит Педрам.

Он добавляет: «Оно потребляет примерно 0,3 киловатт-часа в день, в основном за счет метаболических процессов. В отличие от этого, средний графический процессор (GPU) потребляет около 10-15 киловатт-часов в день».

«Это существенное несоответствие подчеркивает потенциал нейроморфных вычислений: разработку моделей и оборудования, имитирующих эффективную работу мозга», — говорит профессор Педрам. Его лаборатория «изучает новые подходы в нейроморфных вычислениях, включая биологически инспирированные модели нейронов и синапсов, а также гибридные сети, сочетающие осцилляторы и импульсные нейроны».

В Университете Южной Калифорнии нейроморфные вычисления фактически зародились благодаря заслуженному профессору кафедры электротехники и вычислительной техники и пионеру нейроморфных вычислений Элис Паркер, которая пришла в университет в 1980 году. Паркер пыталась имитировать нейронные сети мозга для решения проблем психического здоровья, а другие ученые продолжают ее дело, обеспечивая более высокую энергоэффективность вычислительных систем.

Теперь же разработка вышла на новый уровень благодаря Джошуа Янгу, профессору кафедры электротехники и вычислительной техники имени Артура Б. Фримена, который возглавляет Центр передового опыта ВВС США, основанный на его работах в области нейроморфных вычислений.

Центр нейроморфных вычислений в экстремальных условиях (CONCRETE) объединяет ученых из различных университетов. Ян, как ведущий научный сотрудник, разработал инновации и внес значительный вклад в развитие Центра, в том числе в разработку устройств, работающих иначе, чем традиционные компьютеры.

В то время как традиционные компьютеры разделяют память и обработку данных, Ян разработал мемристоры на основе оксидов металлов — электронные устройства размером в одну миллиардную долю метра (наноразмер), которые действуют подобно синапсам в мозге, размещая хранение и обработку данных в одном и том же месте.

Помимо обработки и хранения в одном месте, данные также хранятся в аналоговом формате, который более совместим с реальными данными, а не с нулями и единицами, характерными для цифровых носителей информации. Благодаря отсутствию этапа преобразования реальных данных в цифровой формат, вычислительные чипы следующего поколения Янга с «аналоговой памятью» значительно снижают энергопотребление, одновременно повышая скорость обработки.

Сохраняя энергоэффективность и скорость обработки, в своих последних работах Ян сосредоточился на решении основного недостатка аналоговых вычислений — их относительно низкой точности. Его группа достигла наивысшей точности на единицу памяти и продемонстрировала точность на уровне микросхемы благодаря инновационной конструкции, интегрирующей эти устройства.

Он отмечает: «Эти инновации значительно повышают точность и эффективность памяти, что является важнейшим шагом вперед для искусственного интеллекта и нейроморфных вычислений».

Эта работа не просто концептуальная. Она воплощается в реальность; у Янга также есть собственный стартап Tetramem, который разрабатывает технологию для использования в новых электронных устройствах.