Новый нейроморфный чип для искусственного интеллекта на периферии, с небольшой долей энергии и размера современных вычислительных платформ.

Международная группа исследователей спроектировала и построила чип, который выполняет вычисления непосредственно в памяти и может запускать широкий спектр приложений ИИ — и все это за долю энергии, потребляемой вычислительными платформами для вычислений ИИ общего назначения.

Нейроморфный чип NeuRRAM приближает ИИ к работе на широком спектре периферийных устройств, отключенных от облака, где они могут выполнять сложные когнитивные задачи в любом месте и в любое время, не полагаясь на сетевое подключение к централизованному серверу. Приложения изобилуют в каждом уголке мира и во всех аспектах нашей жизни: от смарт-часов до гарнитур виртуальной реальности, смарт-наушников, смарт-датчиков на заводах и вездеходов для исследования космоса.

Чип NeuRRAM не только в два раза более энергоэффективен, чем современные чипы «вычисления в памяти», инновационный класс гибридных чипов, которые выполняют вычисления в памяти, но и обеспечивает результаты, которые столь же точны, как и обычные цифровые чипы. Обычные платформы искусственного интеллекта намного крупнее и обычно ограничены использованием больших серверов данных, работающих в облаке.

Кроме того, чип NeuRRAM очень универсален и поддерживает множество различных моделей и архитектур нейронных сетей . В результате чип можно использовать для множества различных приложений, включая распознавание и реконструкцию изображений, а также распознавание голоса .

«Принято считать, что более высокая эффективность вычислений в памяти достигается за счет универсальности, но наш чип NeuRRAM обеспечивает эффективность, не жертвуя универсальностью», — сказал Вейер Ван, первый автор статьи и недавний доктор философии. выпускник Стэнфордского университета, который работал над чипом в Калифорнийском университете в Сан-Диего, где его совместно консультировал Герт Каувенбергс на кафедре биоинженерии.

Исследовательская группа, возглавляемая биоинженерами из Калифорнийского университета в Сан-Диего, представляет свои результаты в выпуске журнала Nature от 17 августа .

В настоящее время вычисления ИИ требуют много энергии и больших вычислительных ресурсов. Большинство приложений ИИ на периферийных устройствах связаны с перемещением данных с устройств в облако, где ИИ обрабатывает и анализирует их. Затем результаты возвращаются на устройство. Это связано с тем, что большинство периферийных устройств питаются от батареи и, как следствие, имеют ограниченную мощность, которую можно выделить для вычислений.

За счет снижения энергопотребления, необходимого для логического вывода ИИ на периферии, этот чип NeuRRAM может привести к созданию более надежных, интеллектуальных и доступных периферийных устройств и более интеллектуальному производству. Это также может привести к повышению конфиденциальности данных, поскольку передача данных с устройств в облако сопряжена с повышенными рисками безопасности.

В микросхемах ИИ перемещение данных из памяти в вычислительные устройства является одним из основных узких мест.

«Это эквивалентно восьмичасовой дороге на работу при двухчасовом рабочем дне», — сказал Ван.

Чтобы решить эту проблему с передачей данных, исследователи использовали так называемую резистивную память с произвольным доступом — тип энергонезависимой памяти, который позволяет выполнять вычисления непосредственно в памяти, а не в отдельных вычислительных блоках. RRAM и другие новые технологии памяти, используемые в качестве массивов синапсов для нейроморфных вычислений, впервые были разработаны в лаборатории Филипа Вонга, советника Вана в Стэнфорде и основного участника этой работы. Вычисления с чипами RRAM не обязательно новинки, но обычно они приводят к снижению точности вычислений, выполняемых на чипе, и отсутствию гибкости в архитектуре чипа.

«Вычисления в памяти стали обычной практикой в ​​нейроморфной инженерии с тех пор, как они были введены более 30 лет назад, — сказал Каувенбергс. «Что нового в NeuRRAM, так это то, что исключительная эффективность теперь сочетается с большой гибкостью для различных приложений ИИ почти без потери точности по сравнению со стандартными цифровыми вычислительными платформами общего назначения».

Тщательно разработанная методология была ключом к работе с несколькими уровнями «совместной оптимизации» на уровнях абстракции аппаратного и программного обеспечения, от проектирования чипа до его конфигурации для выполнения различных задач ИИ. Кроме того, команда позаботилась о том, чтобы учесть различные ограничения, начиная от физики запоминающих устройств и заканчивая схемами и сетевой архитектурой.

«Теперь этот чип предоставляет нам платформу для решения этих проблем по всему стеку, от устройств и схем до алгоритмов», — сказал Сиддхарт Джоши, доцент кафедры компьютерных наук и инженерии в Университете Нотр-Дам, который начал работу над проектом в качестве доктор философии студент и научный сотрудник лаборатории Каувенберга в Калифорнийском университете в Сан-Диего.

Производительность чипа

Исследователи измерили энергоэффективность чипа по показателю, известному как продукт задержки энергии или EDP. EDP ​​объединяет как количество энергии, потребляемой для каждой операции, так и количество времени, необходимое для завершения операции. По этому показателю чип NeuRRAM обеспечивает снижение EDP в 1,6–2,3 раза (чем меньше, тем лучше) и вычислительную плотность в 7–13 раз выше, чем у современных чипов.

Исследователи выполняли различные задачи ИИ на чипе. Он достиг 99% точности в задаче распознавания рукописных цифр; 85,7% на задаче классификации изображений; и 84,7% в задаче распознавания голосовых команд Google. Кроме того, чип также добился 70-процентного снижения ошибок реконструкции изображения в задаче восстановления изображения. Эти результаты сравнимы с существующими цифровыми чипами, которые выполняют вычисления с той же битовой точностью, но с существенной экономией энергии.

Исследователи отмечают, что одним из ключевых вкладов статьи является то, что все представленные результаты получены непосредственно на оборудовании. Во многих предыдущих работах по чипам вычислений в памяти результаты тестов ИИ часто частично получали с помощью программного моделирования.

Следующие шаги включают в себя улучшение архитектуры и схем, а также масштабирование проекта до узлов с более продвинутыми технологиями. Исследователи также планируют заняться другими приложениями, такими как импульсные нейронные сети.

«Мы можем добиться большего на уровне устройства, улучшить конструкцию схемы для реализации дополнительных функций и адресовать различные приложения с помощью нашей динамической платформы NeuRRAM», — сказал Раджкумар Кубендран, доцент Питтсбургского университета, который начал работу над проектом, будучи доктором наук. .Д. студент исследовательской группы Каувенберга в Калифорнийском университете в Сан-Диего.

Кроме того, Ван является одним из основателей стартапа, занимающегося разработкой технологии вычислений в памяти. «Как исследователь и инженер, я стремлюсь претворить исследовательские инновации из лабораторий в практическое применение», — сказал Ван.

Новая архитектура

Ключом к энергоэффективности NeuRRAM является инновационный метод определения выходных данных в памяти. В традиционных подходах в качестве входных данных используется напряжение, а в качестве результата измеряется ток. Но это приводит к необходимости более сложных и энергоемких схем. В NeuRRAM команда разработала нейронную схему, которая измеряет напряжение и выполняет аналого-цифровое преобразование энергоэффективным способом. Это измерение в режиме напряжения может активировать все строки и все столбцы массива RRAM за один вычислительный цикл, обеспечивая более высокий параллелизм.

В архитектуре NeuRRAM нейронные схемы CMOS физически чередуются с весами RRAM. Это отличается от обычных конструкций, в которых схемы CMOS обычно находятся на периферии весов RRAM. Соединения нейрона с массивом RRAM можно настроить так, чтобы они служили либо входом, либо выходом нейрона. Это позволяет нейронной сети делать выводы в различных направлениях потока данных без накладных расходов по площади или энергопотреблению. Это, в свою очередь, упрощает реконфигурацию архитектуры.

Чтобы убедиться, что точность вычислений ИИ может быть сохранена в различных архитектурах нейронных сетей, исследователи разработали набор методов совместной оптимизации аппаратных алгоритмов. Методы были проверены на различных нейронных сетях, включая сверточные нейронные сети, долговременную память и ограниченные машины Больцмана.

Являясь нейроморфным чипом ИИ, NeuroRRAM выполняет параллельную распределенную обработку данных в 48 нейросинаптических ядрах. Чтобы одновременно достичь высокой универсальности и высокой эффективности, NeuRRAM поддерживает параллелизм данных, сопоставляя слой в модели нейронной сети с несколькими ядрами для параллельного вывода по нескольким данным. Кроме того, NeuRRAM предлагает модельный параллелизм за счет сопоставления различных слоев модели с разными ядрами и выполнения логических выводов конвейерным способом.

Международная исследовательская группа

Работа является результатом международной группы исследователей.

Команда Калифорнийского университета в Сан-Диего разработала схемы CMOS, которые реализуют нейронные функции, взаимодействующие с массивами RRAM, для поддержки синаптических функций в архитектуре чипа для обеспечения высокой эффективности и универсальности. Ван, тесно сотрудничая со всей командой, реализовал дизайн; охарактеризовал чип; обучили модели ИИ; и выполнил эксперименты. Ван также разработал цепочку программных инструментов, которая отображает приложения ИИ на чипе.

Массив синапсов RRAM и условия его работы были тщательно охарактеризованы и оптимизированы в Стэнфордском университете.

Массив RRAM был изготовлен и интегрирован в CMOS в Университете Цинхуа.

Команда в Нотр-Даме внесла свой вклад как в дизайн и архитектуру чипа, так и в последующую разработку и обучение модели машинного обучения.