Используя готовый автомобильный радарный датчик и новый подход к обработке данных, исследователи Пенсильванского университета продемонстрировали, что они могут обнаруживать вибрации наушника мобильного телефона и расшифровывать то, что говорит человек на другой стороне звонка, с точностью до 83%.

Демонстрация, доступная на Симпозиуме IEEE по безопасности и конфиденциальности (SP) 2022 года, выявила серьезную проблему безопасности, по словам Маханта Гауда, доцента компьютерных наук и инженерии, и Сурйодая Басака, докторанта, получающего степень в области компьютерных наук и консультировавшего от Гауда.

«Поскольку технологии со временем становятся все более надежными и надежными, становится вероятным злоупотребление такими технологиями обнаружения злоумышленниками», — сказал Басак. «Наша демонстрация такого рода эксплуатации пополняет пул научной литературы, в которой широко говорится: «Эй! Автомобильные радары можно использовать для прослушивания аудио. Нам нужно что-то с этим делать».

Радар работает в диапазоне миллиметровых волн (mmWave), в частности, в диапазонах от 60 до 64 гигагерц и от 77 до 81 гигагерц, что побудило исследователей назвать свой подход «mmSpy». Это подмножество радиочастотного спектра, используемого для 5G, стандарта пятого поколения для систем связи по всему миру.

В демонстрации mmSpy исследователи имитировали людей, говорящих через динамик смартфона. Бренд не имеет значения, сказал Басак, но исследователи протестировали свой подход как на Google Pixel 4a, так и на Samsung Galaxy S20. От речи вибрирует динамик телефона, и эта вибрация распространяется по всему корпусу телефона.

«Мы используем радар, чтобы ощутить эту вибрацию и реконструировать то, что сказал человек на другой стороне линии», — сказал Басак, отметив, что их подход работает, даже когда звук совершенно не слышен ни для людей, ни для микрофонов поблизости. «Это не первый случай обнаружения подобных уязвимостей или способов атаки, но этот конкретный аспект — обнаружение и восстановление речи с другой стороны линии смартфона — еще не исследовался».

Данные радарного датчика предварительно обрабатываются с помощью модулей MATLAB и Python, которые представляют собой интерфейсы на языке вычислительной платформы, используемые в этом исследовании для удаления шума, связанного с оборудованием, и артефактного шума из данных. Затем исследователи передают это в модули машинного обучения, обученные классифицировать речь и реконструировать звук. Когда радар улавливает вибрации на расстоянии одного фута, точность обработанной речи составляет 83%. Чем дальше радар перемещается от телефона, тем ниже точность до 43% на расстоянии шести футов.

Как только речь реконструирована, исследователи могут затем фильтровать, улучшать или классифицировать ключевые слова по мере необходимости, сказал Басак. Команда продолжает совершенствовать свой подход, чтобы лучше понять не только то, как защититься от этой уязвимости, но и как использовать ее во благо.

«Разработанная нами методология также может быть использована для измерения вибрации в промышленном оборудовании, системах умного дома и системах мониторинга зданий», — сказал Басак. «Отслеживание вибрации с течением времени может помочь оценить износ — использование нашего подхода может помочь определить, когда оборудование нуждается в техническом обслуживании, например, раньше, чем это было бы очевидно».

По словам Басака, существуют аналогичные системы обслуживания дома или даже системы мониторинга здоровья, которые могли бы извлечь выгоду из такого чувствительного отслеживания.

«Представьте себе радар, который может отслеживать пользователя и вызывать помощь, если какой-либо параметр здоровья изменится опасным образом», — сказал Басак. «При правильном наборе целевых действий радары в умных домах и промышленности могут обеспечить более быстрое выполнение работ при обнаружении проблем и проблем».

В настоящее время исследователи работают над масштабированием своей атаки с помощью mmSpy, чтобы укрепить свой подход и перенести его на эти более конструктивные приложения.

«По сравнению с тем, каким был наш мир около десяти лет назад, сегодня мы гораздо лучше связаны и используем сенсорные системы для контроля нашего дыхания, физической активности и даже для обеспечения большей безопасности наших домов», — сказал Басак. «Как исследовательская группа, мы очень рады работать в этой области, поскольку мир все больше полагается на беспроводные сенсорные системы. Нам нравится преодолевать сложные технологические проблемы и методы проектирования, которые можно использовать в реальных системах будущего».