Группа робототехники и трехмерного зрения (RoViT) Университета Аликанте (UA) разработала первое приложение, способное распознавать и интерпретировать алфавит испанского языка жестов (известный под аббревиатурой LSE) в режиме реального времени.
Приложение называется Sign4all и представляет собой прорыв, который помогает разрушить коммуникативные барьеры между глухими и слышащими людьми в повседневных ситуациях, таких как поход к врачу или прием пищи в ресторане. Согласно последнему исследованию ситуации с инвалидностью, личной автономией и зависимостью, проведенного Испанским национальным статистическим институтом (INE), в Испании насчитывается 1 230 000 человек с нарушениями слуха различных типов и степеней. Из них 27 300 человек используют язык жестов для общения.
Благодаря использованию различных методов компьютерного зрения и глубокого обучения , к.т.н. инженер-компьютерщик и исследователь UA Эстер Мартинес вместе с доктором философии. Студент Франсиско Морильяс разработал этот недорогой инструмент, чтобы иметь возможность предлагать помощь глухим людям , когда им не может помочь переводчик.
Sign4all, после извлечения деталей скелета рук и кистей, кодирует левую сторону тела синим цветом, а правую — красным, сохраняя анонимность пользователя в любое время. С этого момента приложение переводит используемый глухим человеком знак в режиме реального времени и в обратном направлении. Он может использовать виртуальный аватар для подписи испанских слов, набранных слышащим человеком. Идея состоит в том, что весь этот процесс можно выполнить, загрузив приложение и используя камеру самого мобильного телефона или планшета, чтобы его можно было использовать где угодно, как объяснил Мартинес.
По словам исследователя UA, после многих тестов Sign4all удается интерпретировать и распознавать алфавит LSE с точностью до 80%. Хотя этот результат соответствует дактилологическому алфавиту, они работают над версией со специальным словарным запасом, относящимся к области повседневных задач, где они могут интерпретировать полные предложения.
Команда UA месяцами обучала эту новую систему, вводя все больше и больше знаков. В этом смысле возникло сотрудничество с Исследовательской группой испанского языка и жестовых языков Университета Виго (GRILES), командой с большим опытом изучения этого языка и его использования на разных территориях. Университет Виго собирает изображения с интерпретаторами, а UA обрабатывает все эти данные. Таким образом, словарный запас системы распознавания и интерпретации LSE может быть улучшен и расширен гораздо быстрее.
