Впервые Институт теоретической информатики TU Graz и Intel Labs экспериментально продемонстрировали, что большая нейронная сеть может обрабатывать последовательности, такие как предложения, потребляя при этом от четырех до шестнадцати раз меньше энергии при работе на нейроморфном оборудовании, чем на не-нейроморфном оборудовании. Новое исследование основано на нейроморфном исследовательском чипе Intel Labs Loihi, который опирается на данные нейробиологии для создания чипов, функционирующих аналогично биологическим мозгам.

Исследование проводилось при поддержке The Human Brain Project (HBP), одного из крупнейших исследовательских проектов в мире, в котором более 500 ученых и инженеров по всей Европе изучают человеческий мозг. Результаты исследования опубликованы в журнале Nature Machine Intelligence.

Человеческий мозг как образец для подражания

Умные машины и интеллектуальные компьютеры, которые могут автономно распознавать и делать выводы об объектах и ​​отношениях между различными объектами, являются предметом всемирных исследований в области искусственного интеллекта (ИИ). Потребление энергии является серьезным препятствием на пути к более широкому применению таких методов ИИ. Есть надежда, что нейроморфная технология даст толчок в правильном направлении. Нейроморфная технология смоделирована по образцу человеческого мозга, который очень эффективно использует энергию. Для обработки информации его сто миллиардов нейронов потребляют всего около 20 ватт, что ненамного больше энергии, чем средняя энергосберегающая лампочка.

В исследовании группа сосредоточилась на алгоритмах, которые работают с темпоральными процессами. Например, система должна была отвечать на вопросы о ранее рассказанной истории и улавливать отношения между объектами или людьми из контекста. Тестируемое оборудование состояло из 32 чипов Loihi.

Исследовательский чип Loihi: до шестнадцати раз более энергоэффективный, чем не-нейроморфное оборудование

«Наша система в четыре-шестнадцать раз более энергоэффективна, чем другие модели ИИ на обычном оборудовании», — говорит Филипп Планк, докторант Института теоретической информатики Технического университета Граца. Планк ожидает дальнейшего повышения эффективности по мере перехода этих моделей на аппаратное обеспечение Loihi следующего поколения, что значительно повышает производительность связи между чипами.

«Исследовательские чипы Intel Loihi обещают принести пользу в области искусственного интеллекта, особенно за счет снижения их высокой стоимости энергии», — сказал Майк Дэвис, директор лаборатории нейроморфных вычислений Intel. «Наша работа с TU Graz дает еще одно доказательство того, что нейроморфная технология может повысить энергоэффективность современных рабочих нагрузок глубокого обучения, переосмыслив их реализацию с точки зрения биологии».

Имитация кратковременной памяти человека

В своей нейроморфной сети группа воспроизвела предполагаемый механизм памяти мозга, как объясняет Вольфганг Маасс, научный руководитель Филиппа Планка в Институте теоретической информатики, «экспериментальные исследования показали, что человеческий мозг может хранить информацию в течение короткого периода времени». времени даже без нейронной активности , а именно в так называемых «внутренних переменных» нейронов. Моделирование предполагает, что механизм усталости подмножества нейронов необходим для этой кратковременной памяти».

Прямое доказательство отсутствует, потому что эти внутренние переменные еще не могут быть измерены, но это означает, что сети нужно только проверить, какие нейроны в настоящее время утомлены, чтобы восстановить информацию, которую она обработала ранее. Другими словами, предыдущая информация хранится в бездействии нейронов, а бездействие потребляет меньше всего энергии.

Симбиоз рекуррентной и прямой сети

Для этой цели исследователи связывают два типа сетей глубокого обучения. Нейронные сети с обратной связью отвечают за «кратковременную память». Многие такие так называемые рекуррентные модули отфильтровывают возможную релевантную информацию из входного сигнала и сохраняют ее. Затем сеть прямой связи определяет, какие из найденных взаимосвязей очень важны для решения поставленной задачи. Бессмысленные отношения отсеиваются, нейроны срабатывают только в тех модулях, где найдена релевантная информация. Этот процесс в конечном итоге приводит к экономии энергии.

«Ожидается, что в будущем рекуррентные нейронные структуры обеспечат наибольшую выгоду для приложений, работающих на нейроморфном оборудовании», — сказал Дэвис. «Нейроморфное оборудование, такое как Loihi, уникально подходит для облегчения быстрых, разреженных и непредсказуемых паттернов сетевой активности, которые мы наблюдаем в мозгу и которые необходимы для наиболее энергоэффективных приложений ИИ».