Группа исследователей и инженеров из Университета Шарджи разработала систему глубокого обучения для использования арабского языка и его разновидностей в приложениях, связанных с обработкой естественного языка (НЛП), междисциплинарной областью лингвистики, информатики и искусственного интеллекта.

Ученые говорят, что их проект внесет серьезные улучшения в системы НЛП, чтобы учесть арабский язык и его диалекты при программировании компьютеров для обработки и анализа больших объемов данных на естественном языке , а также помочь в разработке программ для улучшения навыков изучения различных языков и повышения точности перевода.

Группа, в которую входят ученые и инженеры, приступила к реализации проекта по оценке удобства использования и полезности арабского языка для приложений на базе искусственного интеллекта, чтобы помочь почти полумиллиарду говорящих по-арабски в мире извлечь выгоду из текущих тенденций в технологиях искусственного интеллекта. Результаты их работы появились в международных журналах.

Новая система на основе искусственного интеллекта, которую создают ученые, устраняет ограничения, с которыми сталкиваются НЛП при обработке языков, отличных от английского. Проблема усугубляется с такими языками, как арабский, чье письмо справа налево и диакритические знаки, которые компьютеры обычно не распознают, сильно отличаются от языков, основанных на латинском алфавите.

Чтобы решить эту проблему, д-р Ашраф Эльнагар, профессор компьютерных наук Университета Шарджи в Объединенных Арабских Эмиратах, возглавил группу ученых для разработки серии вычислительных инструментов, которые помогут программистам выявлять не только формальные Арабский, но его различные диалектные тексты.

«Успешное завершение проекта потенциально может быть широко принято массами, поскольку он предлагает многочисленные преимущества и улучшения для различных языковых приложений и сервисов, управляемых искусственным интеллектом», — говорит доктор Элнагар. «У него есть потенциал для обслуживания широкого круга пользователей и отраслей, способствуя более эффективному общению, доступности и локализации».

Говоря о системе, доктор Эльнагар говорит, что после запуска она улучшит производительность и удобство использования таких приложений, как машинный перевод, анализ настроений и распознавание речи, чтобы точно идентифицировать не только стандартный арабский язык, но и его многочисленные диалекты, тем самым способствуя сохранению культуры. , доступность и более эффективное межкультурное общение.

Улучшение статуса арабского языка с помощью ИИ стало неотложной задачей в арабоязычных странах Ближнего Востока, где разбирающиеся в компьютерах пользователи начали использовать ChatGPT и другие приложения на основе ИИ для быстрого генерирования информации, выполнения письменных заданий и улучшить другие языковые навыки.

Доктор Элнагар говорит, что проект основан на исследованиях студентов как бакалавриата, так и магистратуры. Проект, основанный на факультете компьютерных наук Университета Шарджи, демонстрирует замечательные таланты и преданность делу наших студентов. Он был задуман как старший проект студентов бакалавриата», — отмечает доктор Элнагар.

«Позже другой студент расширил [] работу, используя ее в качестве основы для своей диссертации, сосредоточив внимание на анализе текстовых данных. Проект готов углубиться в область анализа аудиофайлов. Мы очень гордимся своими знаниями. студентов, обучающихся на дому, которые полностью разработали этот важный и впечатляющий проект».

Разработчики разных языков быстро подхватили эту волну интереса, и в настоящее время существует множество приложений, адаптированных для их носителей. Система профессора Эльнагара заполнит крайне недостающий пробел, поскольку она добавит арабский язык, шестой по распространенности язык в мире, в качестве операционной системы для приложений чат-ботов AI I.

Разработчики очень заинтересованы в создании инструментов искусственного интеллекта, связанных с НЛП, полезных для обработки арабского языка и его диалектов. Однако доктор говорит, что система его команды другая.

«Что отличает нашу систему от других моделей арабского языка AI, так это ее специализация на обнаружении и обработке арабских диалектов. Хотя многие модели могут отдавать приоритет современному стандартному арабскому языку или общеупотребительным диалектам, наша система охватывает более широкий диапазон диалектных вариаций.

«Технология, лежащая в основе нашей системы, разработанная нашими студентами, прошедшими обучение внутри компании, объединяет передовые методологии и методы глубокого обучения. Кроме того, инициатива по расширению ее функциональности от текстовых до аудиосигналов выделяет ее еще больше, предлагая мультимодальный подход к понимание и обработка арабского языка».

Команда использовала большой, разнообразный и свободный от предвзятости набор данных по диалектам, объединив несколько отдельных наборов данных. Затем они обучили различные классические модели и модели глубокого обучения, в том числе современные трансформеры, контекстуализируя модели внедрения, такие как BERT, для классификации по регионам и странам.

Эти инструменты могут «повысить производительность чат-ботов, чего можно достичь за счет точного определения и понимания различных арабских диалектов, что позволит чат-ботам предоставлять более персонализированные и релевантные ответы», — говорит профессор Эльнагар.

Эти инструменты можно даже адаптировать к конкретным регионам и культурам арабоязычного мира. «Это позволяет предприятиям и государственным службам лучше обслуживать свою целевую аудиторию, гарантируя, что предоставляемая информация и услуги актуальны для местных условий и легко понятны», — добавляет профессор Элнагар.

Более точный и эффективный перевод с арабского языка и на арабский язык является одним из перспективных результатов проекта, поскольку система призвана обеспечить «лучшее понимание арабских диалектов, [помогать] системам машинного перевода [чтобы] обеспечивать более точные переводы, способствуя более плавному общению между говорящие на разных диалектах или языках».

Предприятия и организации входят в число бенефициаров, поскольку новая система на базе искусственного интеллекта поможет им использовать инструменты анализа настроений с учетом диалектов, чтобы лучше понимать мнения и эмоции своей целевой аудитории. «Это может помочь им адаптировать свои маркетинговые стратегии, продукты и услуги с учетом конкретных потребностей и предпочтений различных регионов или стран», — сказал профессор Элнагар.

На вопрос, были ли заинтересованы внешние заинтересованные стороны в исследовании, которое он и его команда проводили, профессор Элнагар ответил: «Проект вызвал значительный внеучебный интерес, особенно со стороны крупных технологических корпораций, таких как IBM и Microsoft. Кроме того, Sheraa, организация, занимающаяся расширением прав и возможностей и поддерживая новых предпринимателей в Шардже, проявил большой интерес к проекту».

«Представители Sheraa приняли участие в обсуждении потенциала финансирования разработки коммерческого продукта на основе результатов проекта. Такой уровень внимания со стороны как технологических гигантов, так и организаций поддержки предпринимательства указывает на потенциал проекта не только как исследовательской инициативы, но и как жизнеспособное коммерческое решение, которое может иметь широкое рыночное применение».

Инструменты искусственного интеллекта, над которыми работают ученые, также могут обеспечить большую доступность для людей с ограниченными возможностями. «Системы распознавания речи, адаптированные к конкретным диалектам, обеспечат более точное распознавание и транскрипцию голосовых команд для людей с ограниченными возможностями или тех, кто предпочитает голосовое общение», — сказал профессор Элнагар.

Проект не обошёлся без проблем, но они были успешно решены, отмечает профессор . Он упомянул проблему отсутствия стандартизированной орфографии, ограниченности ресурсов и маркированных данных, а также широкого спектра диалектных вариаций в арабоязычных регионах и культурах.