Восприятие обычно кажется легким. Если вы слышите щебетание птицы и смотрите в окно, едва ли кажется, что ваш мозг вообще что-то сделал, когда вы узнаете в этом щебечущем существе на вашем подоконнике птицу.

Фактически, исследования в области психологии показывают, что такие звуковые сигналы могут не только помочь нам быстрее распознавать объекты, но даже могут изменить наше визуальное восприятие . То есть, соедините пение птиц с птицей, и мы увидим птицу, но замените это пение птиц болтовней белки, и мы не совсем уверены, на что смотрим.

«Ваш мозг тратит значительное количество энергии на обработку сенсорной информации о мире и на то, чтобы дать вам ощущение полного и цельного восприятия», — сказал в интервью ведущий автор Джамал Р. Уильямс (Калифорнийский университет, Сан-Диего). «Один из способов сделать это — сделать выводы о том, какого рода информацию следует ожидать».

Хотя эти «осведомленные догадки» могут помочь нам быстрее обрабатывать информацию, они также могут ввести нас в заблуждение, когда то, что мы слышим, не совпадает с тем, что мы ожидаем увидеть, сказал Уильямс, который проводил это исследование с Юрием А. Марков, Наталья А. Тюрина (Федеральная политехническая школа Лозанны) и Виола С. Штормер (Калифорнийский университет, Сан-Диего и Дартмутский колледж).

«Даже когда люди уверены в своем восприятии, звуки достоверно искажают их представление о настоящих визуальных особенностях», — сказал Уильямс.

В своем первом эксперименте Уильямс и его коллеги представили 40 участникам фигуры, на которых были изображены два объекта на разных стадиях превращения друг в друга, например птица, превращающаяся в самолет. Во время этой фазы визуального различения исследователи также воспроизводили один из двух типов звуков: связанный звук (в примере с птицей/самолетом, пение птиц или жужжание самолета) или несвязанный звук, такой как звук удара молотка по гвоздю.

Затем участников попросили вспомнить, какую стадию морфинга объекта им показывали. Чтобы показать то, что они вспомнили, они использовали скользящую шкалу, которая в приведенном выше примере делала объект более похожим на птицу или самолет. Было обнаружено, что участники делали свой выбор морфинга объекта быстрее, когда они слышали связанные (по сравнению с несвязанными) звуки, и меняли свой выбор морфинга объекта, чтобы более точно соответствовать родственным звукам, которые они слышали.

«Когда звуки связаны с соответствующими визуальными особенностями, эти визуальные функции имеют приоритет и обрабатываются быстрее по сравнению с тем, когда звуки не связаны с визуальными функциями. Таким образом, если вы слышите звук птичьего пения, все, что похоже на птицу, получает приоритетный доступ к визуальное восприятие», — объяснил Уильямс. «Мы обнаружили, что эта расстановка приоритетов не является чисто облегчающей, и что ваше восприятие визуального объекта на самом деле более похоже на птичье, чем если бы вы слышали звук пролетающего над головой самолета».

В своем втором эксперименте Уильямс и его коллеги исследовали, был ли этот эффект специфичен для фазы визуального различения перцептивной обработки или, альтернативно, могли бы звуки вместо этого формировать визуальное восприятие, влияя на наши процессы принятия решений. Для этого исследователи дали 105 участникам одно и то же задание, но на этот раз они воспроизводили звуки либо в то время, когда трансформация объекта была на экране, либо когда участники делали выбор трансформирования объекта после того, как исходное изображение исчезло.

Как и в первом эксперименте, было обнаружено, что аудиовход влияет на скорость и точность участников, когда звуки воспроизводились, когда они просматривали трансформацию объекта, но не влиял, когда звуки воспроизводились, когда они сообщали, какую трансформацию объекта они видели.

Наконец, в третьем эксперименте с 40 участниками Уильямс и его коллеги воспроизвели звуки до того, как были показаны морфы объектов. Цель здесь состояла в том, чтобы проверить, может ли аудиовход влиять на визуальное восприятие, побуждая людей уделять больше внимания определенным объектам. Также было обнаружено, что это не повлияло на выбор морфинга объектов участниками.

Взятые вместе, эти результаты показывают, что звуки изменяют визуальное восприятие только тогда, когда звуковой и визуальный ввод происходит одновременно, заключили исследователи.

«Этот процесс распознавания объектов в мире кажется легким и быстрым, но на самом деле это очень ресурсоемкий процесс», — сказал Уильямс. «Чтобы частично облегчить это бремя, ваш мозг будет оценивать информацию, поступающую от других органов чувств». Уильямс и его коллеги хотели бы развить эти открытия, исследуя, как звуки могут влиять на нашу способность находить объекты, как зрительный ввод может влиять на наше восприятие звуков и является ли аудиовизуальная интеграция врожденным или приобретенным процессом.