Большие языковые модели (LLM) — это усовершенствованные алгоритмы глубокого обучения, которые могут анализировать подсказки на различных человеческих языках, впоследствии генерируя реалистичные и исчерпывающие ответы. Этот многообещающий класс моделей обработки естественного языка (NLP) становится все более популярным после выпуска платформы Open AI ChatGPT, которая может быстро отвечать на широкий спектр пользовательских запросов и генерировать убедительные письменные тексты для различных целей.
Поскольку эти модели становятся все более распространенными, оценка их возможностей и ограничений имеет первостепенное значение. Эти оценки могут в конечном итоге помочь понять ситуации, в которых LLM наиболее или наименее полезны, а также определить способы их улучшения.
Джулианн Чжоу, исследователь из Нью-Йоркского университета, недавно провела исследование, направленное на оценку эффективности работы двух студентов-магистров, обученных распознавать человеческий сарказм , который влечет за собой передачу идей путем иронического заявления, прямо противоположного тому, что кто-то пытается сказать. Ее выводы, опубликованные на сервере препринтов arXiv , помогли ей определить функции и алгоритмические компоненты, которые могут улучшить возможности обнаружения сарказма как у агентов ИИ, так и у роботов.
«В области сентиментального анализа обработки естественного языка способность правильно распознавать сарказм необходима для понимания истинного мнения людей», — написала Чжоу в своей статье. «Поскольку использование сарказма часто основано на контексте, предыдущие исследования использовали модели языкового представления, такие как машина опорных векторов (SVM) и длинная краткосрочная память (LSTM), чтобы идентифицировать сарказм с помощью контекстной информации. Последние инновации в области НЛП предоставило больше возможностей для обнаружения сарказма».
Анализ настроений — это область исследований, которая включает в себя анализ текстов, обычно публикуемых на платформах социальных сетей или других веб-сайтах, чтобы получить представление о том, как люди относятся к определенной теме или продукту. Сегодня многие компании инвестируют в эту область, поскольку это может помочь им понять, как они могут улучшить свои услуги и удовлетворить потребности своих клиентов.
В настоящее время существует несколько моделей НЛП, которые могут обрабатывать тексты и предсказывать их основной эмоциональный тон, или, другими словами, выражают ли они положительные, отрицательные или нейтральные эмоции. Однако многие обзоры и комментарии, размещенные в Интернете, содержат иронию и сарказм, что может заставить моделей классифицировать их как «положительные», хотя на самом деле они выражают отрицательные эмоции, или наоборот.
Поэтому некоторые ученые-компьютерщики пытаются разработать модели, которые смогут обнаружить сарказм в письменных текстах. Две из наиболее многообещающих моделей, названные CASCADE и RCNN-RoBERTa, были представлены в 2018 году отдельными исследовательскими группами.
«В книге « BERT : предварительное обучение глубоких двунаправленных преобразователей для понимания языка» Джейкоб Девлин и др. (2018) представили новую модель языкового представления и продемонстрировали более высокую точность интерпретации контекстуализированного языка», — написал Чжоу. «Как предложили Хазарика и др. (2018), CASCADE — это контекстно-ориентированная модель, которая дает хорошие результаты для обнаружения сарказма. В этом исследовании анализируется корпус Reddit с использованием этих двух современных моделей и оценивается их эффективность по сравнению с базовыми моделями. найти идеальный подход к обнаружению сарказма».
По сути, Чжоу провел серию тестов, направленных на оценку способности модели CASCADE и RCNN-RoBERTa обнаруживать сарказм в комментариях, размещенных на Reddit, известной онлайн-платформе, которая обычно используется для оценки контента и обсуждения различных тем. Способность этих двух моделей обнаруживать сарказм в выборочных текстах также сравнивалась со средней производительностью человека при выполнении той же задачи (о которой сообщалось в предыдущей работе) и с производительностью нескольких базовых моделей для анализа текстов.
«Мы обнаружили, что контекстная информация, такая как встраивание личности пользователя, может значительно улучшить производительность, а также использование преобразователя RoBERTa по сравнению с более традиционным подходом CNN», — заключила Чжоу в своей статье. «Учитывая успех как контекстуального, так и преобразовательного подхода, как показали наши результаты, дополнение преобразователя дополнительными функциями контекстной информации может стать возможностью для будущих экспериментов».
Результаты, полученные в рамках этого недавнего исследования, вскоре могут стать основой для дальнейших исследований в этой области, что в конечном итоге будет способствовать разработке программ LLM, которые лучше распознают сарказм и иронию в человеческом языке . Эти модели могут в конечном итоге оказаться чрезвычайно ценными инструментами для быстрого анализа настроений онлайн-обзоров, публикаций и другого пользовательского контента.
