Биологически правдоподобная пространственно-временная адаптация помогает обучать нейронные сети с глубокими пиками

Прочитано: 71 раз(а)
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (1 голосов, среднее: 5,00 из 5)
Loading ... Loading ...


Спайковые нейронные сети (SNN) охватывают наиболее важные аспекты обработки информации мозгом. Они считаются многообещающим подходом к искусственному интеллекту следующего поколения. Однако самой большой проблемой, ограничивающей разработку SNN, является алгоритм обучения.

Чтобы решить эту проблему, исследовательская группа под руководством профессора Цзэн И из Института автоматизации Китайской академии наук предложила обратное распространение (BP) с биологически правдоподобной пространственно-временной регулировкой для обучения нейронных сетей с глубокими пиками .

Соответствующее исследование было опубликовано в Patterns 2 июня.

Обучение на основе обратного распространения расширило SNN до более сложных сетевых структур и задач. Однако традиционный дизайн BP игнорирует динамические характеристики SNN и не является биологически правдоподобным.

Вдохновленные нейронными механизмами в мозге, исследователи предложили биологически правдоподобную пространственно-временную адаптацию, чтобы заменить традиционный искусственный дизайн.

«После переосмысления взаимосвязи между мембранным потенциалом и спайками мы предложили биологически правдоподобную пространственную настройку градиентов для разных временных шагов. Она точно контролирует обратное распространение ошибки по пространственному измерению», — сказал профессор Цзэн И, корреспондент исследования. .

Чтобы преодолеть проблему временной зависимости традиционных спайковых нейронов в пределах одного периода спайка, исследователи предложили биологически правдоподобную временную корректировку, чтобы ошибка распространялась по спайкам во временном измерении, по словам Шэня Гобиня, первого автора исследования.

Корректировка улучшает производительность SNN и снижает потребление энергии и задержку. По сравнению с другими алгоритмами суррогатного градиента алгоритм, предложенный в этом исследовании, обеспечивает повышение точности на 4,34% и 6,36% при примерно половине энергопотребления на DVS-Gesture и DVS-CIFAR10, типичных наборах данных для последовательной обработки информации во времени.

«Теоретически, по сравнению с искусственными нейронными сетями той же структуры, предлагаемый алгоритм использует только около 3% энергии для достижения конкурентной точности классификации», — сказал доцент Чжао Дунчэн.

Это исследование является частью проекта Cognitive Intelligence Engine, вдохновленного мозгом (BrainCog), инициированного командой профессора Цзэн И, продолжающегося научного исследования инфраструктуры искусственного интеллекта, вдохновленного мозгом.

Биологически правдоподобная пространственно-временная адаптация помогает обучать нейронные сети с глубокими пиками



Новости партнеров