Исследователи из IBM Research Zürich и ETH Zürich недавно создали новую архитектуру, которая сочетает в себе два самых известных подхода к искусственному интеллекту, а именно глубокие нейронные сети и векторно-символьные модели. Их архитектура, представленная в Nature Machine Intelligence, могла преодолеть ограничения обоих этих подходов, более эффективно решая прогрессивные матрицы и другие задачи рассуждений.

«Наша недавняя статья была основана на наших более ранних исследованиях, направленных на расширение и улучшение нейронных сетей с помощью мощного механизма векторно-символических архитектур (VSA)», — сказал Аббас Рахими, один из исследователей, проводивших исследование. «Эта комбинация ранее применялась к обучению за несколько шагов, а также к задачам непрерывного обучения за несколько шагов , достигая современной точности с меньшей вычислительной сложностью. В нашей недавней статье мы выводим эту концепцию за пределы восприятия, сосредоточив внимание на решение задач визуального абстрактного мышления, в частности, широко используемых тестов IQ, известных как прогрессивные матрицы Равена».

Прогрессивные матрицы Равена — это невербальные тесты, обычно используемые для проверки IQ людей и навыков абстрактного мышления. Они состоят из ряда предметов, представленных в наборах, в которых отсутствует один или несколько предметов.

Чтобы решить прогрессивные матрицы Равена, респонденты должны правильно определить недостающие элементы в заданных наборах среди нескольких возможных вариантов. Это требует расширенных способностей к рассуждению, таких как способность обнаруживать абстрактные отношения между объектами, которые могут быть связаны с их формой, размером, цветом или другими характеристиками.

Нейро-векторно-символическая архитектура (NVSA), разработанная Рахими и его коллегами, объединяет глубокие нейронные сети, которые, как известно, хорошо справляются с задачами восприятия, с механизмом VSA. VSA — это уникальные вычислительные модели, которые выполняют символьные вычисления с использованием распределенных многомерных векторов.

«Хотя наш подход может немного напоминать подходы нейросимволического ИИ, нейросимволический ИИ унаследовал ограничения своих отдельных компонентов глубокого обучения и классических символических компонентов ИИ», — пояснил Рахими. «Наша ключевая цель — устранить эти ограничения, а именно проблему связывания нейронов и исчерпывающий поиск, в NVSA, используя общий язык между нейронными и символическими компонентами».

Комбинация глубоких нейронных сетей и VSA была поддержана двумя основными особенностями архитектуры. К ним относятся новый процесс обучения нейронной сети и метод выполнения преобразований VSA.

«Мы разработали два ключевых компонента нашей архитектуры, — сказал Рахими. «Первый — это использование нового метода обучения нейронной сети в качестве гибкого средства обучения представлению с помощью VSA. Второй — это метод достижения надлежащих преобразований VSA, так что исчерпывающие вычисления вероятностей и поиски могут быть заменены более простыми алгебраическими операциями в VSA».

В первоначальных оценках архитектура, разработанная Рахими и его коллегами, дала очень многообещающие результаты, решая прогрессивные матрицы Raven быстрее и эффективнее, чем другие архитектуры, разработанные в прошлом. В частности, он работал лучше, чем современные глубокие нейронные сети и подходы нейросимволического ИИ, достигнув новых рекордных показателей точности в 87,7% для набора данных RAVEN и 88,1% для набора данных I-RAVEN.

«Чтобы решить тест Равена, требуется нечто, называемое вероятностным похищением, процесс, который включает в себя поиск решения в пространстве, определяемом предварительными знаниями о тесте», — сказал Рахими. «Предыдущее знание представлено в символической форме путем описания всех возможных реализаций правил, которые могли бы управлять тестами Равена. Чисто символический подход к рассуждению должен пройти через все допустимые комбинации, вычислить вероятность правила и суммировать их. Этот поиск становится вычислительным. узкое место в большом пространстве поиска из-за большого количества комбинаций, которые невозможно протестировать».

В отличие от существующих архитектур, NVSA может выполнять обширные вероятностные вычисления в рамках одной векторной операции. Это, в свою очередь, позволяет ему решать задачи, связанные с абстрактными рассуждениями и аналогиями, такие как прогрессивные матрицы Равена, быстрее и точнее, чем другие подходы к ИИ, основанные только на глубоких нейронных сетях или VSA.

«Наш подход также решает проблему связывания нейронов, позволяя одной нейронной сети отдельно распознавать различные свойства нескольких объектов одновременно в сцене», — сказал Рахими. «В целом, NVSA предлагает прозрачные, быстрые и эффективные рассуждения; и это самый первый пример, показывающий, как вероятностные рассуждения (как усовершенствование чисто логических рассуждений) могут эффективно выполняться с помощью распределенных представлений и операторов VSA. По сравнению с символическими рассуждениями нейросимволических подходов, вероятностные рассуждения NVSA на два порядка быстрее, с менее затратными операциями над распределенными представлениями».

Новая архитектура, созданная этой командой, на данный момент оказалась очень многообещающей для эффективного и быстрого решения сложных логических задач. В будущем его можно будет протестировать и применить к различным другим проблемам, а также потенциально вдохновить на разработку других подобных подходов.

«NVSA — это важный шаг к объединению различных парадигм ИИ в единую структуру для решения задач, связанных как с восприятием, так и с рассуждениями более высокого уровня », — добавил Рахими. «Интересно, что NVSA уже продемонстрировал степень обобщения различных невидимых комбинаций объектов и атрибутов объектов. Дальнейшее обобщение в этом направлении все еще остается открытой проблемой».