За последнее десятилетие или около того компьютерные специалисты разработали все более продвинутые вычислительные методы, которые могут решать реальные задачи с точностью, сопоставимой с человеческой. Хотя многие из этих моделей искусственного интеллекта (ИИ) достигли замечательных результатов, они часто не точно воспроизводят вычисления, выполняемые человеческим мозгом.
Исследователи из Tibbling Technologies, Института Брода при Гарвардской медицинской школе, Австралийского национального университета и других институтов недавно попытались использовать ИИ для имитации определенного типа вычислений, выполняемых контурами в неокортексе, известных как вычисления по принципу «победитель получает все».
В статье, опубликованной на сервере препринтов bioRxiv, сообщается об успешной эмуляции этого вычисления и показано, что добавление его к моделям на основе трансформаторов может значительно повысить их производительность при решении задач классификации изображений.
«Наша недавняя работа была вдохновлена невероятными вычислительными возможностями мозга млекопитающих, в частности неокортекса», — рассказал Асим Икбал, первый автор статьи.
«Наша главная цель состояла в том, чтобы черпать вдохновение из того, как мозг обрабатывает информацию, и применять эти принципы для улучшения систем искусственного интеллекта. В частности, мы сосредоточились на вычислении, называемом «победитель получает все», которое, по-видимому, является фундаментальной операцией в корковых цепях».
«Победитель получает все» — это биологический механизм, который возникает, когда один или несколько нейронов в наборе (т. е. один/несколько с самым высоким уровнем активации) влияют на результат вычисления. Более активные нейроны по сути подавляют активность других нейронов, становясь единственными клетками, участвующими в принятии конкретного решения или вычислении.
Икбал и его коллеги попытались реалистично имитировать это биологическое вычисление с помощью нейроморфного оборудования, а затем использовать его для улучшения производительности хорошо зарекомендовавших себя моделей машинного обучения. Для этого они использовали нейроморфный аппаратный чип TrueNorth от IBM, специально разработанный для имитации организации мозга.
«Наша модель биофизической сети направлена на то, чтобы охватить ключевые особенности неокортикальных цепей, уделяя особое внимание взаимодействиям между возбуждающими нейронами и четырьмя основными типами тормозных нейронов», — пояснил Икбал.
«Модель включает экспериментально измеренные свойства этих нейронов и их связей в зрительной коре. Ее ключевой особенностью является возможность реализации мягких вычислений по принципу «победитель получает все», когда самые сильные входные сигналы усиливаются, а более слабые подавляются».
Выполняя эти вдохновленные мозгом вычисления, подход команды может усилить важные сигналы, отфильтровывая шум. Ключевое преимущество их системы NeuroAI заключается в том, что она представляет новый биологически обоснованный и в то же время вычислительно эффективный подход к обработке визуальной информации, что может помочь улучшить производительность моделей ИИ.
«Одним из наших самых захватывающих достижений стала успешная реализация наших вычислений, вдохновленных работой мозга, на нейроморфном чипе IBM TrueNorth», — сказал Икбал.
«Это показывает, что мы можем переносить принципы из нейронауки на реальное оборудование. Мы также были в восторге, увидев значительные улучшения в производительности Vision Transformers и других моделей глубокого обучения, когда мы внедрили нашу вдохновленную принципом «победитель получает все» обработку. Например, модели стали намного лучше обобщать новые типы данных, на которых они не были обучены, — ключевая проблема в области ИИ».
Икбал и его коллеги объединили soft winner takes all computings, выполненные с использованием их подхода, с моделью на основе vision transformer. Они обнаружили, что их подход значительно улучшил производительность модели в задаче цифровой классификации для полностью «невидимых» данных посредством обучения с нулевого выстрела.
В будущем их вдохновленный мозгом вычислительный подход может быть применен к другим системам ИИ для широкого спектра приложений, включая компьютерное зрение, анализ медицинских изображений и автономные транспортные средства. Между тем, исследователи планируют изучить, как те же вдохновленные мозгом принципы, лежащие в основе их подхода, могут быть использованы для решения более сложных когнитивных задач.
«Мы особенно заинтересованы в реализации процессов рабочей памяти и принятия решений с использованием нашего подхода», — добавил Икбал.
«Мы также планируем исследовать, как мы можем внедрить механизмы обучения, вдохновленные мозгом, что может привести к созданию систем ИИ, которые смогут обучаться и адаптироваться более эффективно. Кроме того, мы стремимся протестировать наш подход на других новых нейроморфных аппаратных платформах, чтобы еще больше сократить разрыв между нейронаукой и ИИ».