Созданы беспроводные наушники, которые очищают звук с помощью глубокого обучения

Прочитано: 228 раз(а)


Когда во время карантина из-за COVID-19 встречи перешли в режим онлайн, многие люди обнаружили, что болтовня соседей по комнате, мусоровозы и другие громкие звуки прерывают важные разговоры.

Этот опыт вдохновил трех исследователей из Вашингтонского университета, которые были соседями по комнате во время пандемии, на разработку лучших наушников. Чтобы улучшить голос говорящего и уменьшить фоновый шум , «ClearBuds» используют новую микрофонную систему и одну из первых систем машинного обучения, которая работает в режиме реального времени и работает на смартфоне.

Исследователи представили этот проект 30 июня на Международной конференции ACM по мобильным системам, приложениям и услугам.

«ClearBuds отличаются от других беспроводных наушников двумя ключевыми моментами», — сказал соавтор Маручи Ким, докторант Школы компьютерных наук и инженерии Пола Г. Аллена. «Во-первых, в ClearBuds используется массив из двух микрофонов. Микрофоны в каждом наушнике создают два синхронизированных аудиопотока, которые предоставляют информацию и позволяют нам пространственно разделять звуки, исходящие из разных направлений, с более высоким разрешением. Во-вторых, легкая нейронная сеть еще больше усиливает голос говорящего».

В то время как большинство коммерческих наушников также имеют микрофоны на каждом наушнике, только один наушник активно отправляет звук на телефон в каждый момент времени. С ClearBuds каждый наушник отправляет аудиопоток на телефон. Исследователи разработали сетевые протоколы Bluetooth, позволяющие синхронизировать эти потоки в пределах 70 микросекунд друг от друга.

Алгоритм нейронной сети команды работает на телефоне для обработки аудиопотоков. Во-первых, он подавляет любые неречевые звуки. Затем он изолирует и усиливает любой шум, исходящий одновременно из обоих наушников — голос говорящего.

«Поскольку голос говорящего находится рядом и примерно на равном расстоянии от двух наушников, нейронную сеть можно научить фокусироваться только на его речи и устранять фоновые звуки, включая другие голоса», — сказал соавтор Ишан Чаттерджи, докторант в Алленская школа. «Этот метод очень похож на то, как работают ваши собственные уши. Они используют разницу во времени между звуками, поступающими в ваше левое и правое ухо, чтобы определить, с какого направления исходит звук».

Когда исследователи сравнили наушники ClearBuds с Apple AirPods Pro, они показали лучшие результаты, достигнув более высокого отношения сигнал/искажение во всех тестах.

«Это необычно, если учесть тот факт, что наша нейронная сеть должна работать менее чем за 20 миллисекунд на iPhone, который имеет лишь часть вычислительной мощности по сравнению с большой коммерческой видеокартой, которая обычно используется для запуска нейронных сетей», — сказал он. соавтор Вивек Джаярам, ​​докторант Школы Аллена. «Это часть проблемы, которую мы должны были решить в этой статье: как нам взять традиционную нейронную сеть и уменьшить ее размер, сохранив при этом качество вывода?»

Команда также протестировала ClearBuds «в дикой природе», записав восемь человек, читающих Project Gutenberg в шумной обстановке, например, в кафе или на оживленной улице. Затем исследователи попросили 37 человек оценить фрагменты этих записей продолжительностью от 10 до 60 секунд. Участники оценили клипы, обработанные нейронной сетью ClearBuds, как имеющие лучшее подавление шума и лучшее общее впечатление от прослушивания.

По словам исследователей, одним из ограничений ClearBuds является то, что люди должны носить оба наушника, чтобы получить эффект шумоподавления.

По словам команды, разработанная здесь система связи в реальном времени может быть полезна для множества других приложений, включая динамики умного дома, отслеживание местоположения роботов или поисково-спасательные миссии.

В настоящее время команда работает над тем, чтобы сделать алгоритмы нейронной сети еще более эффективными, чтобы они могли работать в наушниках.

Созданы беспроводные наушники, которые очищают звук с помощью глубокого обучения



Новости партнеров