Разговор без голосовых связок благодаря новому носимому устройству с искусственным интеллектом

Прочитано: 106 раз(а)


Людям с нарушениями голоса, в том числе с патологическими состояниями голосовых связок или восстанавливающимся после операций по поводу рака гортани, часто бывает трудно или невозможно говорить. Это может скоро измениться.

Разговор без голосовых связок благодаря новому носимому устройству с искусственным интеллектом

Команда инженеров Калифорнийского университета в Лос-Анджелесе изобрела мягкое, тонкое и эластичное устройство площадью чуть более 1 квадратного дюйма, которое можно прикрепить к коже за пределами горла, чтобы помочь людям с дисфункциональными голосовыми связками восстановить голосовую функцию. Их продвижение подробно описано на этой неделе в журнале Nature Communications.

Новая биоэлектрическая система, разработанная Джун Ченом, доцентом кафедры биоинженерии Инженерной школы Самуэли Калифорнийского университета в Лос-Анджелесе, и его коллегами, способна обнаруживать движения мышц гортани человека и переводить эти сигналы в слышимую речь с помощью машинного оборудования. технологии обучения — с точностью почти 95%.

Этот прорыв является последним достижением Чена по оказанию помощи людям с ограниченными возможностями. Его команда ранее разработала носимые перчатки , способные переводить американский язык жестов на английскую речь в режиме реального времени, чтобы помочь пользователям ASL общаться с теми, кто не умеет писать жесты.

Разговор без голосовых связок благодаря новому носимому устройству с искусственным интеллектом

Крошечное новое устройство, похожее на патч, состоит из двух компонентов. Один из них — чувствительный компонент с автономным питанием — обнаруживает и преобразует сигналы, генерируемые движениями мышц, в высокоточные, поддающиеся анализу электрические сигналы ; эти электрические сигналы затем преобразуются в речевые сигналы с использованием алгоритма машинного обучения. Другой, исполнительный компонент, превращает эти речевые сигналы в желаемое голосовое выражение.

Каждый из двух компонентов содержит по два слоя: слой биосовместимого силиконового соединения полидиметилсилоксана или ПДМС с эластичными свойствами и слой магнитной индукции, изготовленный из медных индукционных катушек. Между двумя компонентами находится пятый слой, содержащий ПДМС, смешанный с микромагнитами, который генерирует магнитное поле.

Используя мягкий магнитоупругий сенсорный механизм , разработанный командой Чена в 2021 году, устройство способно обнаруживать изменения магнитного поля, когда оно изменяется в результате механических сил — в данном случае движения мышц гортани. Встроенные змеевидные индукционные катушки в магнитоупругих слоях помогают генерировать электрические сигналы высокой точности для целей измерения.

Устройство имеет размеры 1,2 дюйма с каждой стороны, весит около 7 граммов и имеет толщину всего 0,06 дюйма. Благодаря двусторонней биосовместимой ленте ее можно легко приклеить к горлу человека рядом с местом расположения голосовых связок, и ее можно использовать повторно, повторно наклеив ленту по мере необходимости.

Нарушения голоса распространены среди всех возрастов и демографических групп; Исследования показали, что почти 30% людей в течение жизни испытают хотя бы одно такое расстройство. Тем не менее, при использовании терапевтических подходов, таких как хирургические вмешательства и голосовая терапия, восстановление голоса может растянуться от трех месяцев до года, при этом некоторые инвазивные методы требуют значительного периода обязательного послеоперационного голосового покоя.

«Существующие решения, такие как портативные электрогортанные устройства и процедуры трахеопищеводной пункции, могут быть неудобными, инвазивными или некомфортными», — сказал Чен, возглавляющий исследовательскую группу носимой биоэлектроники в Калифорнийском университете в Лос-Анджелесе и пять лет назад названный одним из самых цитируемых в мире исследователей. ряд. «Это новое устройство представляет собой портативный, неинвазивный вариант, способный помочь пациентам общаться в период до лечения и в период восстановления после лечения нарушений голоса».

Как машинное обучение делает возможным создание носимых технологий

В своих экспериментах исследователи протестировали носимую технологию на восьми здоровых взрослых. Они собрали данные о движении мышц гортани и использовали алгоритм машинного обучения, чтобы сопоставить полученные сигналы с определенными словами. Затем они выбрали соответствующий выходной голосовой сигнал через исполнительный компонент устройства.

Исследовательская группа продемонстрировала точность системы, предложив участникам произнести пять предложений — как вслух, так и беззвучно, — включая «Привет, Рэйчел, как твои дела сегодня?» и я люблю тебя!»

Общая точность прогнозирования модели составила 94,68%, при этом голосовой сигнал участников усиливался активационным компонентом, демонстрируя, что сенсорный механизм распознавал сигнал движения гортани и соответствовал соответствующему предложению, которое участники хотели сказать.

В дальнейшем исследовательская группа планирует продолжать расширять словарный запас устройства посредством машинного обучения и тестировать его на людях с нарушениями речи.

Разговор без голосовых связок благодаря новому носимому устройству с искусственным интеллектом



Новости партнеров