Новое исследование использует совместное творчество с референтными сообществами для разработки приложения для машинного перевода языка жестов (SLMT). Исследовательская группа разработала театральное представление на языке жестов, увиденное глазами искусственного интеллекта (ИИ), в качестве одной из методологий.

«Исторически сложилось так, что глухие люди были исключены из процесса разработки технологий автоматического перевода», — говорит Шон О’Бойл, научный сотрудник Школы инклюзивного и специального образования (Дублинский городской университет, DCU).

«Это часто вызывало негативную реакцию и сопротивление со стороны сообществ глухих, поскольку проекты проектировались и разрабатывались без какого-либо участия конечных пользователей, которым они предназначались, — в результате чего появлялась технология, которую никто не хотел использовать, и это была большая трата денег», — добавляет Дэви Ван Ландуйт, менеджер проектов Европейского союза глухих (EUD).

Команда решила изменить стандартный подход. Результаты их работы описаны в статье, опубликованной в Journal of Science Communication.

О’Бойл, Ван Ландуйт и другие партнеры европейского проекта SignON, включая Vlaams GebarentaalCentrum (Центр фламандского языка жестов), разработали инновационную методологию совместного творчества, основанную на этой идее: если бы мы внедрили ИИ в тексты Шекспира на ирландском языке жестов, какие отрывки мы бы выбрали в первую очередь? Это взаимодействие с ИИ позволило им связаться с аудиторией и узнать их мнение о технологии.

«Мы внимательно изучили, чего на самом деле хотят сообщества глухих (и, что не менее важно, чего не хотят)», — объясняет Ван Ландуйт.

«Это была групповая работа, и она доставила массу удовольствия», — комментирует О’Бойл, эксперт по научной коммуникации и взаимодействию с общественностью , который стал соавтором статьи вместе с Ван Ландуйтом, Элизабет Мэтьюз (которая работает с О’Бойлом в DCU) и другими.

Совместная творческая деятельность проекта, которая способствовала разработке прототипа приложения SLMT, объединила живое театральное представление с инструментами искусственного интеллекта в обстановке, которая перевернула стереотипное восприятие глухих/слабослышащих людей и слышащих людей.

«Мы объединили выступление с обсуждением с аудиторией, чтобы получить элемент фокус-групповой методики, но в контексте культуры и искусства, посещения шоу и ночного отдыха», — объясняет О’Бойл.

Мероприятие под названием «Весь мир — экран» проводилось во время Недели науки в Дублине и состояло из театрального представления по мотивам произведений Уильяма Шекспира, исполненного на ирландском языке жестов двумя глухими актерами, Лианной Куигли и Элвином Джонсом, которые также являются соавторами исследования и перевели тексты Шекспира на ирландский язык жестов. Аудитория состояла из глухих, слабослышащих и слышащих людей.

«Для глухих людей было очень важно, чтобы представление и научное мероприятие проходили на их родном языке, а не на английском. В нашем представлении доступ к слышащим людям обеспечивал переводчик», — объясняет О’Бойл.

«Это изменило динамику, но также дало людям возможность представить будущее этих технологий, поскольку мы попросили людей посмотреть представление вместе с их «со-зрителем» — искусственным интеллектом».

Фактически, во время представления зрители могли получить доступ к инструментам для анализа движений исполнителей в режиме реального времени, распознавания объектов и транскрипции устного перевода на английский язык, выполняемого переводчиками в режиме реального времени.

«Мы получили так много интересных отзывов, и самое замечательное в том, что мы делали это в контексте исследовательского проекта, было то, что все эти отзывы напрямую попадали в нашу команду. Они определяли варианты использования приложения, то, как мы говорили о нем, как мы думали о нем, а также различные аспекты разработанной технологии », — говорит О’Бойл.

«Этическая сторона также важна», — добавляет Ван Ландуйт.

«Главным разочарованием сообществ глухих является отношение или мотивация некоторых исследователей слуха, работающих над этими технологиями», — говорит Ван Ландуйт, который также объясняет, что это приводит к пустой трате времени и ресурсов.

«Слишком часто «слышащие» лица, принимающие решения, или исследователи думают, что они знают лучше, чем сообщества глухих, и пытаются создать что-то, что затем отвергается фактическими конечными пользователями этих технологий просто потому, что это не то, что им нужно, или даже совершенно бесполезно на практике. Я думаю, например, о таких технологиях, как перчатки для жестов.

«Простое включение глухих людей в проект не является структурным решением. Это не означает, что они возглавляют исследование. Глухих исследователей часто приглашают к сотрудничеству только после того, как первоначальная идея уже задумана, команда сформирована, исследование проведено или даже ближе к концу проекта», — добавляет он.

Это можно смягчить , участвуя в подлинном совместном творчестве и научном общении с сообществами глухих. «Мы не можем остановить эволюцию этих технологий, поэтому нам нужно выяснить, как с ними обращаться. Крайне важно, чтобы глухие люди могли принимать решения самостоятельно», — заключает Ван Ландуйт. «Ничего о нас без нас».