Исследователи из Колледжа электронной информации и оптической инженерии Нанкайского университета использовали гибкие искусственные синаптические устройства для разработки нейроморфной системы восприятия движения, которая реализует мультисенсорные функции мозга на аппаратном уровне и демонстрирует превосходные характеристики восприятия движения.
Доктор Цзян Чэнпэн из Колледжа электронной информации и оптической инженерии Нанкайского университета является первым автором, а профессор Сюй Вэньтао из Колледжа электронной информации и оптической инженерии Нанкайского университета является соответствующим автором статьи «Млекопитающие». «Вдохновленный мозгом нейроморфный двигательно-познавательный нерв достигает кросс-модального улучшения восприятия», опубликованного в Nature Communications.
Дизайн нейроморфной системы восприятия движения вдохновлен мультисенсорной интеграцией макаки и механизмами пространственного восприятия. Самодвижение макаки будет стимулировать информацию о движении, такую как инерционные сигналы и сигналы оптического потока в преддверии и сетчатке. Определенные области коры головного мозга будут обрабатывать и идентифицировать информацию о движении, закодированную в виде спайкового импульса, а затем реализовывать пространственное восприятие путем интеграции информации из различных сенсорных модальностей.
Акселерометры и гироскопы в нейроморфной системе восприятия движения получают сигналы ускорения и угловой скорости соответственно, которые кодируются в две последовательности спайков, которые передаются на высокопроизводительные синаптические транзисторы для обработки. Корреляция между двумя последовательностями импульсов, а также их временная взаимосвязь влияют на синаптическую пластичность устройства, тем самым влияя на выходной сигнал устройства. Сигналы движения классифицируются и идентифицируются путем оценки средней частоты импульсов и выходного тока синаптического устройства.
Кроме того, датчик оптического потока, вибротактильный датчик и инерционный датчик содержат чувствительный блок, способный регистрировать сенсорную информацию визуального, тактильного и ускоренного режимов. Информацию от различных типов датчиков можно эффективно интегрировать, тем самым значительно повышая точность распознавания движения (выше 94%). Экспериментальные результаты согласуются с эффектом улучшения восприятия мозга. Кроме того, система может быть прикреплена к коже человека или установлена на небольших дронах для выполнения сложных задач , таких как распознавание движения человека и схемы полета дрона, благодаря своим характеристикам удобства ношения, высокой степени интеграции и низкому энергопотреблению.
По сути, система имитирует процесс интеграции сенсорных сигналов в мозгу млекопитающих и реализует мозгоподобное восприятие движения, используя стратегию кодирования спайков для сенсорных сигналов, характеристики интеграции спайков синаптических устройств и метод пространственно-временного распознавания синаптического тока. сигналы. Эта работа сочетает в себе нейроморфный когнитивный интеллект с мультимодальным механизмом восприятия мозга и имеет важное значение для разработки устройств, вдохновленных мозгом, и биомиметической электроники. Его можно применять в различных областях, таких как мобильные роботы, интеллектуальные носимые устройства и человеко-машинный интерфейс.
