Разработана системау вычислений в памяти, которая более эффективно запускаеттьсложные модели нейросетей

Прочитано: 123 раз(а)


Архитектуры машинного обучения, основанные на сверточных нейронных сетях (CNN), оказались очень ценными для широкого круга приложений, от компьютерного зрения до анализа изображений и обработки или генерации человеческого языка. Однако, для решения более сложных задач эти архитектуры становятся все более сложными и требовательными к вычислительным ресурсам.

Таким образом, в последние годы многие инженеры-электронщики во всем мире пытались разработать устройства, которые могут поддерживать хранение и вычислительную нагрузку сложных архитектур на основе CNN. Это включает в себя устройства с более плотной памятью, которые могут поддерживать большое количество весов (т. е. обучаемые и необучаемые параметры, учитываемые различными уровнями CNN).

Исследователи из Китайской академии наук, Пекинского технологического института и других университетов Китая недавно разработали новую систему вычислений в памяти, которая может помочь более эффективно запускать более сложные модели на основе CNN. Их компонент памяти, представленный в статье, опубликованной в Nature Electronics, основан на энергонезависимых макросах вычислений в памяти, сделанных из массивов трехмерных мемристоров.

«Масштабирование таких систем до трехмерных массивов может обеспечить более высокий параллелизм, емкость и плотность для необходимых операций векторно-матричного умножения», — написали Цян Хо и его коллеги в своей статье. «Однако масштабирование до трех измерений затруднено из-за проблем с производством и изменчивостью устройств. Мы сообщаем о двухкилобитном энергонезависимом макросе вычислений в памяти, который основан на трехмерной вертикальной резистивной памяти с произвольным доступом, изготовленной с использованием 55 Комплементарный процесс металл-оксид-полупроводник на нм».

Резистивная оперативная память, или RRAM, представляет собой энергонезависимое (т. е. сохраняющее данные даже после отключения электропитания ) запоминающее устройство на основе мемристоров. Мемристоры — это электронные компоненты , которые могут ограничивать или регулировать протекание электрического тока в цепях, записывая при этом количество заряда, прошедшего через них ранее.

По сути, RRAM работают за счет изменения сопротивления мемристора. Хотя прошлые исследования продемонстрировали большой потенциал этих устройств памяти, обычные версии этих устройств отделены от компьютерных машин, что ограничивает возможности их применения.

Устройства RRAM с вычислениями в памяти были разработаны для преодоления этого ограничения путем внедрения вычислений в память. Это может значительно сократить передачу данных между памятью и процессорами, что в конечном итоге повысит общую энергоэффективность системы.

Устройство вычислений в памяти, созданное Хуо и его коллегами, представляет собой трехмерную RRAM с вертикально расположенными слоями и периферийными схемами. Схемы устройства были изготовлены с использованием 55-нм КМОП-технологии, которая лежит в основе большинства интегральных схем, представленных сегодня на рынке.

Исследователи оценили свое устройство, используя его для выполнения сложных операций и запуска модели для обнаружения границ при МРТ-сканировании мозга. Команда обучила свои модели, используя два существующих набора данных МРТ для обучения инструментов распознавания изображений, известных как наборы данных MNIST и CIFAR-10.

«Наш макрос может выполнять операции трехмерного векторно-матричного умножения с энергоэффективностью 8,32 тераопераций в секунду на ватт при разрядности входных, весовых и выходных данных 8,9 и 22 бит соответственно, а битовая плотность — 58,2 бит/мкм. –2 », — написали исследователи в своей статье. «Мы показываем, что макрос обеспечивает более точное определение границ МРТ головного мозга и повышенную точность вывода на наборе данных CIFAR-10, чем обычные методы».

В первоначальных тестах вертикальная система RRAM с вычислениями в памяти, созданная Хуо и его коллегами, показала замечательные результаты, превзойдя традиционные подходы RRAM. Таким образом, в будущем он может оказаться очень ценным для более энергоэффективного запуска сложных моделей на основе CNN, а также для повышения точности и производительности.

Разработана системау вычислений в памяти, которая более эффективно запускаеттьсложные модели нейросетей



Новости партнеров