Ученые-когнитивисты давно пытались понять, что делает некоторые предложения более трудными для понимания, чем другие. Исследователи считают, что любое объяснение понимания языка будет полезно, если вы поймете трудности с пониманием.

В последние годы исследователи успешно разработали две модели, объясняющие два важных типа трудностей с пониманием и произношением предложений. Хотя эти модели успешно предсказывают конкретные модели трудностей с пониманием, их предсказания ограничены и не полностью соответствуют результатам поведенческих экспериментов. Более того, до недавнего времени исследователи не могли объединить эти две модели в единое целое.

Новое исследование, проведенное исследователями из отдела мозга и когнитивных наук Массачусетского технологического института (BCS), теперь дает такой унифицированный отчет о трудностях с пониманием языка. Основываясь на последних достижениях в области машинного обучения , исследователи разработали модель, которая лучше предсказывает легкость или ее отсутствие, с которой люди производят и понимают предложения. Недавно они опубликовали свои выводы в Proceedings of the National Academy of Sciences .

Ведущими авторами статьи являются профессора BCS Роджер Леви и Эдвард (Тед) Гибсон. Ведущим автором является Майкл Хан, бывший приглашенный студент Леви и Гибсона, ныне профессор Саарского университета. Второй автор — Ричард Футрелл, еще один бывший ученик Леви и Гибсона, ныне профессор Калифорнийского университета в Ирвайне.

«Это не просто расширенная версия существующих описаний трудностей с пониманием», — говорит Гибсон; «Мы предлагаем новый базовый теоретический подход, который позволяет делать более точные прогнозы».

Исследователи построили две существующие модели, чтобы создать единую теоретическую оценку сложности понимания. Каждая из этих старых моделей идентифицирует конкретную причину неудовлетворительного понимания: трудности с ожиданием и трудности с извлечением информации из памяти . Мы испытываем трудности с ожиданием, когда предложение не позволяет нам легко предвидеть следующие за ним слова. Мы испытываем трудности с восстановлением памяти , когда нам трудно отследить предложение со сложной структурой встроенных предложений, например: «Тот факт, что доктор, которому не доверял адвокат, раздражал пациента, был удивительным».

В 2020 году Футрелл впервые разработал теорию, объединяющую эти две модели. Он утверждал, что ограничения в памяти влияют не только на поиск в предложениях со встроенными предложениями, но и на все понимание языка; ограничения нашей памяти не позволяют нам идеально представлять контексты предложений во время понимания языка в целом.

Таким образом, согласно этой унифицированной модели, ограничения памяти могут создать новый источник трудностей в ожидании. Нам может быть трудно предвидеть следующее слово в предложении, даже если слово должно быть легко предсказуемо из контекста — в случае, если сам контекст предложения трудно удержать в памяти. Рассмотрим, например, предложение, начинающееся со слов «Боб выбросил мусор…», мы можем легко предугадать последнее слово — «вынести». Но если контекст предложения, предшествующий последнему слову, более сложен, возникают трудности с ожиданием: «Боб выбросил старый хлам, который несколько дней пролежал на кухне [вне]».

Исследователи количественно определяют сложность понимания, измеряя время, которое требуется читателям, чтобы ответить на различные задачи понимания. Чем больше время отклика, тем сложнее понять данное предложение. Результаты предыдущих экспериментов показали, что унифицированная учетная запись Футрелла предсказывала трудности с пониманием у читателей лучше, чем две более старые модели. Но его модель не определяла, какие части предложения мы склонны забывать — и как именно этот сбой в воспоминании затрудняет понимание.

Новое исследование Хана заполняет эти пробелы. В новой статье ученые-когнитивисты из Массачусетского технологического института присоединились к Футреллу, чтобы предложить расширенную модель, основанную на новой последовательной теоретической основе. Новая модель выявляет и исправляет отсутствующие элементы в единой учетной записи Futrell и предоставляет новые точные прогнозы, которые лучше соответствуют результатам эмпирических экспериментов.

Как и в оригинальной модели Фатрелла, исследователи исходят из того, что наш разум из-за ограниченности памяти не может точно представить предложения, с которыми мы сталкиваемся. Но к этому они добавляют теоретический принцип когнитивной эффективности. Они предполагают, что разум имеет тенденцию использовать свои ограниченные ресурсы памяти таким образом, чтобы оптимизировать свою способность точно предсказывать ввод новых слов в предложениях.

Это понятие приводит к нескольким эмпирическим предсказаниям. Согласно одному ключевому прогнозу, читатели компенсируют свои несовершенные представления в памяти, полагаясь на свои знания о статистическом совпадении слов, чтобы неявно реконструировать предложения, которые они читают в уме. Поэтому предложения, включающие более редкие слова и фразы, труднее запоминать в совершенстве, что затрудняет предугадывание следующих слов. В результате такие предложения обычно труднее понять.

Чтобы оценить, соответствует ли этот прогноз нашему языковому поведению, исследователи использовали GPT-2, инструмент искусственного интеллекта на естественном языке, основанный на моделировании нейронной сети. Этот инструмент машинного обучения, впервые обнародованный в 2019 году, позволил исследователям протестировать модель на крупномасштабных текстовых данных способом, который раньше был невозможен. Но мощная способность моделирования языка GPT-2 также создала проблему: в отличие от людей, безупречная память GPT-2 прекрасно представляет все слова даже в очень длинных и сложных текстах, которые он обрабатывает.

Чтобы более точно охарактеризовать понимание человеческого языка, исследователи добавили компонент, который имитирует человеческие ограничения ресурсов памяти — как в исходной модели Футрелла — и использовали методы машинного обучения для оптимизации использования этих ресурсов — как в их новой предложенной модели. Полученная модель сохраняет способность GPT-2 точно предсказывать слова большую часть времени, но показывает человеческие разбивки в случаях предложений с редкими сочетаниями слов и фраз.

«Это прекрасная иллюстрация того, как современные инструменты машинного обучения могут помочь в развитии когнитивной теории и нашего понимания того, как работает разум», — говорит Гибсон. «Мы не могли провести это исследование здесь даже несколько лет назад».

Исследователи снабдили модель машинного обучения набором предложений со сложными встроенными предложениями, такими как: «Сообщение о том, что врач, которому не доверял адвокат, раздражало пациента, было неожиданным». Затем исследователи взяли эти предложения и заменили их начальные существительные — «отчет» в приведенном выше примере — другими существительными, каждое со своей собственной вероятностью встречаться со следующим предложением или нет.

Некоторые существительные упрощали «понимание» программ ИИ предложений, к которым они были отнесены. Например, модель смогла более точно предсказать, как заканчиваются эти предложения, когда они начинались с обычной фразы «Тот факт, что», чем когда они начинались с более редкой фразы «Сообщить, что».

Затем исследователи решили подтвердить результаты, основанные на искусственном интеллекте, проведя эксперименты с участниками, которые читали похожие предложения. Время их ответа на задачи понимания было таким же, как и в предсказаниях модели. «Когда предложения начинаются со слов «сообщить об этом», люди, как правило, запоминают предложение в искаженном виде», — говорит Гибсон. Редкие фразы еще больше ограничивали их память и, как следствие, ограничивали их понимание.

Эти результаты показывают, что новая модель превосходит существующие модели в предсказании того, как люди обрабатывают язык.

Еще одним преимуществом, которое демонстрирует модель, является ее способность предлагать различные прогнозы от языка к языку. «Предыдущие модели знали, как объяснить, почему с некоторыми языковыми структурами, такими как предложения со встроенными предложениями, может быть сложнее работать в рамках ограничений памяти, но наша новая модель может объяснить, почему одни и те же ограничения ведут себя по-разному в разных языках», — говорит Леви.

«Например, предложения с придаточными предложениями в центре кажутся носителям немецкого языка более легкими, чем носителям английского языка, поскольку немецкие носители привыкли читать предложения, в которых придаточные предложения толкают глагол в конец предложения».

По словам Леви, необходимы дальнейшие исследования модели, чтобы определить причины неточного представления предложения, кроме встроенных предложений. «Есть и другие виды «путаницы», которые нам нужно проверить». В то же время, добавляет Хан, «модель может предсказывать другие «путаницы», о которых никто даже не задумывался. Сейчас мы пытаемся найти их и посмотреть, влияют ли они на человеческое понимание , как это было предсказано».

Еще один вопрос для будущих исследований заключается в том, приведет ли новая модель к переосмыслению длинного ряда исследований, посвященных трудностям интеграции предложений : «Многие исследователи подчеркивали трудности, связанные с процессом, в котором мы реконструируем языковые структуры в своем уме». «Новая модель, возможно, показывает, что трудность связана не с процессом мысленной реконструкции этих предложений , а с поддержанием мысленного представления, когда они уже построены. Большой вопрос заключается в том, являются ли это двумя отдельными вещами».

Так или иначе, добавляет Гибсон, «такая работа знаменует собой будущее исследований по этим вопросам».