Боты с искусственным интеллектом уже проникли в социальные сети. Но могут ли пользователи определить, кто человек, а кто нет?
Исследователи из Университета Нотр-Дам провели исследование с использованием ИИ-ботов, основанных на больших языковых моделях (тип ИИ, разработанный для понимания языка и генерации текста), и попросили участников-людей и ИИ-ботов участвовать в политическом дискурсе на индивидуальной и самостоятельно размещенной платформе. экземпляр Mastodon, платформы социальных сетей.
Эксперимент проводился в три раунда, каждый из которых длился четыре дня. После каждого раунда участникам предлагалось указать, какие учетные записи, по их мнению, являются ботами с искусственным интеллектом.
В пятидесяти восьми процентах случаев участники ошибались.
«Они знали, что взаимодействуют как с людьми, так и с роботами искусственного интеллекта, и им было поручено определить истинную природу каждого бота, и менее половины их предсказаний оказались верными», — сказал Пол Бреннер, преподаватель и директор Центра исследовательских вычислений в Нотре. Дама и старший автор исследования.
«Мы знаем, что если информация исходит от другого человека, участвующего в разговоре, воздействие сильнее, чем абстрактный комментарий или ссылка. Эти боты с искусственным интеллектом с большей вероятностью добьются успеха в распространении дезинформации, потому что мы не можем их обнаружить».
Для каждого раунда исследования использовались разные модели искусственного интеллекта на основе LLM: GPT-4 от OpenAI, Llama-2-Chat от Meta и Claude 2 от Anthropic. Боты с искусственным интеллектом были настроены на 10 различных персонажей, включая реалистичные, разнообразные личные профили и взгляды на глобальную политику.
Ботам было поручено комментировать мировые события на основе заданных характеристик, давать краткие комментарии и связывать глобальные события с личным опытом. Дизайн каждого персонажа был основан на прошлых учетных записях ботов, которые успешно распространяли дезинформацию в Интернете.
Исследователи отметили, что когда дело дошло до определения того, какие учетные записи являются ботами с искусственным интеллектом, конкретная используемая платформа LLM практически не влияла на прогнозы участников.
«Мы предполагали, что модель «Лама-2» будет слабее, потому что это меньшая модель, не обязательно способная отвечать на глубокие вопросы или писать длинные статьи. Но оказывается, что когда вы просто общаетесь в социальных сетях, она практически неотличима. «, — сказал Бреннер. «Это вызывает беспокойство, потому что это платформа с открытым доступом, которую каждый может загрузить и изменить. И она будет становиться только лучше».
Две наиболее успешные и наименее выявленные личности были охарактеризованы как организованные и способные к стратегическому мышлению женщины, распространяющие в социальных сетях мнения о политике. Персонажи были разработаны, чтобы оказать «значительное влияние на общество путем распространения дезинформации в социальных сетях». Для исследователей это означает, что боты ИИ, которых просят хорошо распространять дезинформацию, также хороши в обмане людей относительно их истинной природы.
Хотя люди смогли создавать новые учетные записи в социальных сетях для распространения дезинформации с помощью ботов, Бреннер сказал, что с помощью моделей искусственного интеллекта на основе LLM пользователи могут делать это много раз, что значительно дешевле и быстрее с повышенной точностью. как они хотят манипулировать людьми.
По мнению Бреннера, чтобы предотвратить распространение дезинформации в Интернете, потребуется трехсторонний подход, включающий образование, общенациональное законодательство и политику проверки учетных записей в социальных сетях . Что касается будущих исследований, он намерен сформировать исследовательскую группу для оценки влияния моделей искусственного интеллекта на основе LLM на психическое здоровье подростков и разработки стратегий борьбы с их последствиями.
Исследование «LLM среди нас: генеративный искусственный интеллект, участвующий в цифровом дискурсе» будет опубликовано и представлено на весеннем симпозиуме Ассоциации по развитию искусственного интеллекта 2024, который пройдет в Стэнфордском университете в марте. Результаты также доступны на сервере препринтов arXiv.
Помимо Бреннера, соавторами исследования из Нотр-Дама являются Кристина Радивоевич, аспирант кафедры компьютерных наук и инженерии и ведущий автор исследования, и Николас Кларк, научный сотрудник Центра исследовательских вычислений.
