Внешнее исследование Twitter в 2022 году показало, что от трети до двух третей аккаунтов в социальной сети были ботами. И многие из этих автоматов, наводнивших социальные сети, отправляются сеять политическую поляризацию, ненависть, дезинформацию, пропаганду и мошенничество. Возможность отсеивать их из онлайн-толпы жизненно важна для более безопасного, более гуманного (или, по крайней мере, более человечного) Интернета.

Однако недавнее распространение крупных языковых моделей (известных как «LLM»), таких как ChatGPT от OpenAI и Llama, может усложнить мир ботов социальных сетей .

Группа исследователей под руководством Вашингтонского университета обнаружила, что хотя операторы могут использовать настроенные LLM, чтобы сделать ботов более изощренными в уклонении от автоматических детекторов, LLM также могут улучшить системы, которые обнаруживают ботов. В тестах группы боты на основе LLM снизили производительность существующих детекторов на 30%. Однако исследователи также обнаружили, что LLM, специально обученный для обнаружения ботов социальных сетей, превзошел самые современные системы на 9%.

Группа представила свое исследование 11 августа на 62-м ежегодном собрании Ассоциации компьютерной лингвистики в Бангкоке.

«Всегда существовала гонка вооружений между операторами ботов и исследователями, пытающимися их остановить», — сказал ведущий автор Шанбин Фэн, докторант Школы компьютерных наук и инженерии Пола Г. Аллена. «Каждый прогресс в обнаружении ботов часто сопровождается прогрессом в их сложности, поэтому мы изучили возможности и риски, которые большие языковые модели представляют в этой гонке вооружений».

Исследователи проверили потенциал LLM по обнаружению ботов несколькими способами. Когда они скармливали наборы данных Twitter (отобранные до того, как платформа стала X) готовым LLM, включая ChatGPT и Llama, системам не удавалось точно обнаружить ботов больше, чем используемым в настоящее время технологиям.

«Анализ того, является ли пользователь ботом или нет, гораздо сложнее, чем некоторые задачи, с которыми, как мы видели, преуспевают эти обычные LLM, например, вспомнить факт или решить школьную математическую задачу», — сказал Фэн.

Эта сложность отчасти обусловлена ​​необходимостью анализа трех типов информации по различным атрибутам для обнаружения бота: метаданные (количество подписчиков, геолокация и т. д.), текст, размещенный в сети, и свойства сети (например, на какие аккаунты подписан пользователь).

Когда команда доработала LLM, добавив в них инструкции по обнаружению ботов на основе этих трех типов информации, модели смогли обнаруживать ботов с большей точностью, чем современные системы.

Команда также исследовала, как LLM могут сделать ботов более сложными и более трудными для обнаружения. Сначала исследователи просто давали LLM подсказки, такие как: «Пожалуйста, перепишите описание этого аккаунта бота, чтобы оно звучало как у настоящего пользователя».

Они также протестировали более итеративные, сложные подходы. В одном тесте LLM переписывал пост бота. Затем команда пропустила это через существующую систему обнаружения ботов, которая оценила вероятность того, что пост был написан ботом. Этот процесс повторялся, пока LLM работал над снижением этой оценки. Команда провела аналогичный тест, удаляя и добавляя учетные записи, за которыми следил бот, чтобы скорректировать свою оценку вероятности.

Эти стратегии, в частности переписывание постов ботов, снизили эффективность систем обнаружения ботов на целых 30%. Однако детекторы на основе LLM, обученные командой, увидели всего лишь 2,3%-ное падение эффективности на этих измененных постах, что говорит о том, что лучшим способом обнаружения ботов на основе LLM могут быть сами LLM.

«Эта работа — всего лишь научный прототип», — сказала старший автор Юлия Цветкова, доцент Школы Аллена. «Мы не выпускаем эти системы в качестве инструментов, которые может скачать каждый, потому что в дополнение к разработке технологии защиты от вредоносных ботов мы экспериментируем с моделированием угроз, чтобы создать уклончивого бота, что продолжает игру в кошки-мышки по созданию более сильных ботов, которым нужны более сильные детекторы».

Исследователи отмечают, что существуют важные ограничения использования LLM в качестве детекторов ботов , такие как потенциальная возможность утечки личной информации системами. Они также подчеркивают, что данные, используемые в статье, относятся к 2022 году, до того, как Twitter фактически закрыл свои данные для академических исследователей.

В будущем исследователи хотят рассмотреть обнаружение ботов за пределами текста, например, мемов или видео на других платформах, таких как TikTok, где доступны более новые наборы данных. Команда также хочет расширить исследование на другие языки.

«Проведение этого исследования на разных языках крайне важно», — сказал Цветков. «Мы видим много дезинформации, манипуляций и нападок на определенные группы населения в результате различных мировых конфликтов».