Новое исследование раскрыло, как мозг плавно преобразует звуки, речевые модели и слова в поток повседневных разговоров. Используя передовые технологии для анализа более 100 часов мозговой активности во время реальных дискуссий, исследователи выявили сложные пути, которые позволяют нам без усилий говорить и понимать.
Эти идеи не только углубляют наше понимание человеческих взаимоотношений, но и прокладывают путь к революционным достижениям в области речевых технологий и средств коммуникации.
Исследование, проведенное под руководством доктора Ариэля Гольдштейна с кафедры когнитивных и мозговых наук и Школы бизнеса Еврейского университета в Иерусалиме, Google Research в сотрудничестве с лабораторией Хассона в Институте нейронауки Принстонского университета, доктором Флинкером и доктором Девински из Центра комплексной эпилепсии имени Лангона при Нью-Йоркском университете, позволило разработать единую вычислительную структуру для изучения нейронной основы человеческих разговоров.
Это исследование объединяет акустические, речевые и словесные лингвистические структуры, предлагая беспрецедентные знания о том, как мозг обрабатывает повседневную речь в реальных условиях.
В исследовании, опубликованном в журнале Nature Human Behaviour, была зафиксирована активность мозга в течение 100 часов естественных открытых разговоров с использованием метода, называемого электрокортикография (ЭКоГ).
Для анализа этих данных команда использовала модель преобразования речи в текст под названием Whisper, которая помогает разбить язык на три уровня: простые звуки, речевые модели и значение слов. Затем эти уровни сравнивались с активностью мозга с использованием передовых компьютерных моделей.
Результаты показали, что структура может предсказывать активность мозга с большой точностью. Даже при применении к разговорам, которые не были частью исходных данных, модель правильно сопоставляла различные части мозга с определенными языковыми функциями. Например, области, участвующие в слухе и говорении, соответствовали звуковым и речевым моделям, в то время как области, участвующие в более высоком уровне понимания, соответствовали значениям слов.
Исследование также показало, что мозг обрабатывает язык последовательно. Прежде чем мы говорим, наш мозг переходит от размышлений о словах к формированию звуков, а после того, как мы слушаем, он работает в обратном направлении, чтобы понять смысл сказанного. Структура, использованная в этом исследовании, оказалась более эффективной, чем старые методы, для фиксации этих сложных процессов.
«Наши открытия помогают нам понять, как мозг обрабатывает разговоры в реальных условиях», — сказал доктор Голдштейн. «Связывая различные слои языка, мы раскрываем механизмы, лежащие в основе того, что мы все делаем естественно — разговариваем и понимаем друг друга».
Это исследование имеет потенциальное практическое применение, от улучшения технологии распознавания речи до разработки лучших инструментов для людей с проблемами общения. Оно также предлагает новые идеи о том, как мозг делает общение таким легким, будь то чат с другом или участие в дебатах.
Исследование знаменует собой важный шаг на пути к созданию более совершенных инструментов для изучения того, как мозг обрабатывает язык в реальных ситуациях.
