Создана нейроморфная вычислительная архитектура, которая может более эффективно запускать некоторые глубокие нейронные сети

Прочитано: 337 раз(а)


По мере того, как методы искусственного интеллекта и глубокого обучения становятся все более совершенными, инженерам необходимо будет создавать аппаратное обеспечение, которое сможет надежно и эффективно выполнять их вычисления. Нейроморфное вычислительное оборудование, вдохновленное структурой и биологией человеческого мозга, может быть особенно многообещающим для поддержки работы сложных глубоких нейронных сетей (ГНС).

Исследователи из Технологического университета Граца и Intel недавно продемонстрировали огромный потенциал нейроморфного вычислительного оборудования для запуска DNN в экспериментальных условиях. Их статья, опубликованная в журнале Nature Machine Intelligence и финансируемая проектом Human Brain Project (HBP), показывает, что нейроморфное вычислительное оборудование может работать с большими DNN в 4–16 раз эффективнее, чем обычное (то есть не связанное с мозгом) вычислительное оборудование.

«Мы показали, что большой класс DNN, которые обрабатывают расширенные во времени входные данные, такие как, например, предложения, могут быть реализованы значительно более энергоэффективно, если решать те же проблемы на нейроморфном оборудовании с нейронами, вдохновленными мозгом, и архитектурами нейронных сетей. — сказал TechXplore Вольфганг Маасс, один из исследователей, проводивших исследование. «Кроме того, DNN, которые мы рассмотрели, имеют решающее значение для когнитивных функций более высокого уровня, таких как поиск отношений между предложениями в истории и ответы на вопросы о ее содержании».

В своих тестах Маасс и его коллеги оценивали энергоэффективность большой нейронной сети, работающей на нейроморфном вычислительном чипе, созданном Intel. Эта DNN была специально разработана для обработки больших последовательностей букв или цифр, таких как предложения.

Исследователи измерили энергопотребление нейроморфного чипа Intel и стандартного компьютерного чипа при работе с той же DNN, а затем сравнили их производительность. Интересно, что исследователи обнаружили, что адаптация моделей нейронов, содержащихся в компьютерном оборудовании, так, чтобы они напоминали нейроны в мозге, позволила получить новые функциональные свойства DNN, повысив ее энергоэффективность.

«Часто высказывались предположения о повышенной энергоэффективности нейроморфного оборудования, но это было трудно продемонстрировать для сложных задач ИИ», — пояснил Маасс. «Причина в том, что если заменить модели искусственных нейронов, которые используются DNN в ИИ, которые активируются десятки тысяч и более раз в секунду, на более похожие на мозг «ленивые» и, следовательно, более энергоэффективные импульсные нейроны, которые Как и в мозгу, обычно нужно было сделать пикирующие нейроны гиперактивными, гораздо более активными, чем нейроны в мозге (где средний нейрон излучает сигнал всего несколько раз в секунду) Эти гиперактивные нейроны, однако, потребляли слишком много энергии. »

Многим нейронам в головном мозге требуется длительный период отдыха после того, как они какое-то время были активны. Предыдущие исследования, направленные на воспроизведение биологической нейронной динамики в аппаратном обеспечении, часто приводили к разочаровывающим результатам из-за гиперактивности искусственных нейронов, которые потребляли слишком много энергии при работе с особенно большими и сложными DNN.

В своих экспериментах Маасс и его коллеги показали, что склонность многих биологических нейронов к отдыху после импульса может быть воспроизведена в нейроморфном оборудовании и использована в качестве «вычислительного трюка» для более эффективного решения задач обработки временных рядов. В этих задачах новая информация должна быть объединена с информацией, собранной в недавнем прошлом (например, предложения из истории, которую сеть обработала заранее).

«Мы показали, что сети просто нужно проверить, какие нейроны в настоящее время больше всего утомлены, т. е. не хотят срабатывать, поскольку именно они были активны в недавнем прошлом», — сказал Маасс. «Используя эту стратегию, умная сеть может реконструировать на основе того, какая информация была недавно обработана. Таким образом, «лень» может иметь преимущества в вычислениях».

Исследователи продемонстрировали, что при работе с той же DNN нейроморфный вычислительный чип Intel потреблял от 4 до 16 раз меньше энергии, чем обычный чип. Кроме того, они наметили возможность использования отсутствия активности искусственных нейронов после их пика, чтобы значительно повысить производительность оборудования при выполнении задач обработки временных рядов.

В будущем чип Intel и подход, предложенный Маассом и его коллегами, могут помочь повысить эффективность нейроморфного вычислительного оборудования при работе с большими и сложными DNN. В своей будущей работе команда также хотела бы разработать больше биологических стратегий для повышения производительности нейроморфных чипов, поскольку современное оборудование фиксирует лишь небольшую часть сложной динамики и функций человеческого мозга.

«Например, человеческий мозг может учиться, увидев сцену или услышав предложение всего один раз, тогда как DNN в ИИ требуют чрезмерной тренировки на миллионах примеров», — добавил Маасс. «Один трюк, который мозг использует для быстрого обучения, заключается в использовании разных методов обучения в разных частях мозга , тогда как DNN обычно используют только один. В моих следующих исследованиях я хотел бы позволить нейроморфному оборудованию развивать «личную» память на основе на свой прошлый «опыт», как человек, и использовать этот индивидуальный опыт для принятия лучших решений».

Создана нейроморфная вычислительная архитектура, которая может более эффективно запускать некоторые глубокие нейронные сети



Новости партнеров