На прошлой неделе Google Research провела онлайн-семинар по концептуальному пониманию глубокого обучения. На семинаре, на котором были представлены презентации отмеченных наградами компьютерных ученых и нейробиологов, обсуждалось, как новые открытия в области глубокого обучения и нейробиологии могут помочь в создании более совершенных систем искусственного интеллекта.

В своей презентации Пападимитриу, лауреат премии Геделя и премии Кнута, рассказал, как наше растущее понимание механизмов обработки информации в мозге может помочь в создании алгоритмов, которые более надежны в понимании и вовлечении в разговоры. Пападимитриу представил простую и эффективную модель, объясняющую, как различные области мозга взаимодействуют между собой для решения когнитивных проблем.

«То, что происходит сейчас, — возможно, одно из величайших чудес мира», — сказал Пападимитриу, имея в виду то, как он общался с аудиторией. Мозг переводит структурированные знания в радиоволны, которые передаются через разные среды и достигают ушей слушателя, где они снова обрабатываются и преобразуются мозгом в структурированные знания.

«Нет никаких сомнений в том, что все это происходит с шипами, нейронами и синапсами. Но как? Это огромный вопрос », — сказал Пападимитриу. «Я считаю, что мы получим гораздо лучшее представление о деталях того, как это произойдет в течение следующего десятилетия».

Сборки нейронов в головном мозге

Сообщества когнитивных и нейробиологических наук пытаются понять, как нейронная активность мозга переводится в язык, математику, логику, рассуждение, планирование и другие функции. Если ученым удастся сформулировать работу мозга с помощью математических моделей, они откроют новую дверь для создания систем искусственного интеллекта, которые могут имитировать человеческий разум.

Многие исследования посвящены активности на уровне отдельных нейронов. Еще несколько десятилетий назад ученые считали, что отдельные нейроны соответствуют отдельным мыслям. Самый популярный пример — теория « клетки бабушки », которая утверждает, что в мозгу есть единственный нейрон, который дает всплески каждый раз, когда вы видите свою бабушку. Более поздние открытия опровергли это утверждение и доказали, что большие группы нейронов связаны с каждой концепцией, и между нейронами могут быть наложения, которые связаны с разными концепциями.

Эти группы клеток мозга называются «сборками», которые Пападимитриу описывает как «тесно связанный, стабильный набор нейронов, которые представляют что-то: слово, идею, объект и т. Д.»

Отмеченный наградами нейробиолог Дьёрдь Бужаки описывает собрания как «алфавит мозга».

Математическая модель мозга

Чтобы лучше понять роль сборок, Пападимитриу предлагает математическую модель мозга, называемую «взаимодействующие повторяющиеся сети». Согласно этой модели мозг разделен на конечное количество областей, каждая из которых содержит несколько миллионов нейронов. В каждой области существует рекурсия, что означает, что нейроны взаимодействуют друг с другом. И каждая из этих областей связана с несколькими другими областями. Эти межзональные соединения могут быть возбуждены или запрещены.

Эта модель обеспечивает случайность, пластичность и сдержанность. Случайность означает, что нейроны в каждой области мозга связаны случайным образом. Кроме того, разные области имеют между собой случайные связи. Пластичность позволяет регулировать связи между нейронами и областями с помощью опыта и обучения. А торможение означает, что в любой момент возбуждается ограниченное количество нейронов.

Пападимитриу описывает это как очень простую математическую модель, основанную на «трех основных силах жизни».

Вместе с группой ученых из различных академических институтов Пападимитриу подробно описал эту модель в  статье,  опубликованной в прошлом году в рецензируемом научном журнале Proceedings of the National Academy of Sciences. Сборки были ключевым компонентом модели и обеспечивали то, что ученые назвали «сборочным исчислением», — набор операций, которые позволяют обрабатывать, хранить и извлекать информацию.

«Операции не создаются на пустом месте. Я считаю, что эти операции реальны », — сказал Пападимитриу. «Мы можем математически доказать и подтвердить с помощью моделирования, что эти операции соответствуют истинному поведению… эти операции соответствуют поведению, которое наблюдалось [в мозгу]».

Пападимитриу и его коллеги выдвигают гипотезу о том, что сборки и сборочные вычисления являются правильной моделью, объясняющей когнитивные функции мозга, такие как рассуждение, планирование и язык.

«Большая часть познания может соответствовать этому», — сказал Пападимитриу в своем выступлении на конференции Google по глубокому обучению .

Обработка естественного языка с помощью ассемблерного исчисления

Чтобы проверить свою модель сознания, Пападимитриу и его коллеги попытались реализовать систему обработки естественного языка, которая использует ассемблерное исчисление для анализа английских предложений. По сути, они пытались создать систему искусственного интеллекта, которая имитирует области мозга, в которых находятся сборки, соответствующие лексике и пониманию языка.

«Что происходит, так это то, что если последовательность слов возбуждает эти сборки в lex, этот механизм будет производить синтаксический анализ предложения», — сказал Пападимитриу.

Система работает исключительно за счет имитированных импульсов нейронов (как это делает мозг), и эти всплески вызываются операциями по вычислению сборки. Сборки соответствуют областям в медиальной височной доле, области Вернике и области Брока, трем частям мозга, которые активно участвуют в обработке речи. Модель получает последовательность слов и создает синтаксическое дерево. И их эксперименты показывают, что с точки зрения скорости и частоты импульсов нейронов активность их модели очень близко соответствует тому, что происходит в мозге.

Пападимитриу признает, что модель ИИ все еще находится в зачаточном состоянии и в ней отсутствуют многие важные элементы языка. Исследователи работают над планами по заполнению существующих языковых пробелов. Но они считают, что все эти части можно дополнить с помощью сборочного исчисления, и эта гипотеза должна пройти проверку временем.

«Может ли это быть нейронной основой языка? «Все ли мы рождаемся с такой вещью в [левом полушарии нашего мозга]», — спросил Пападимитриу. Есть еще много вопросов о том, как язык работает в человеческом сознании и как он соотносится с другими когнитивными функциями. Но Пападимитриу считает, что модель сборки приближает нас к пониманию этих функций и ответам на оставшиеся вопросы.

Синтаксический анализ языка — это всего лишь один из способов проверить теорию ассемблерного исчисления. Пападимитриу и его сотрудники работают над другими приложениями, включая обучение и планирование, как это делают дети в очень раннем возрасте.

«Гипотеза состоит в том, что сборочное исчисление — или что-то в этом роде — заполняет счет за логику доступа», — сказал Пападимитриу. «Другими словами, это полезная абстракция того, как наш мозг выполняет вычисления».