Большие языковые модели (LLM), такие как модель GPT-4, лежащая в основе широко используемой диалоговой платформы ChatGPT, удивили пользователей своей способностью понимать письменные подсказки и генерировать подходящие ответы на разных языках. Некоторые из нас могут задаться вопросом: настолько ли реалистичны тексты и ответы, генерируемые этими моделями, что их можно принять за написанные людьми?

Исследователи из Калифорнийского университета в Сан-Диего недавно решили попытаться ответить на этот вопрос, проведя тест Тьюринга — известный метод, названный в честь ученого-компьютерщика Алана Тьюринга, предназначенный для оценки степени, в которой машина демонстрирует интеллект, подобный человеческому.

Результаты этого теста, изложенные в статье , предварительно опубликованной на сервере arXiv , предполагают, что людям трудно отличить модель GPT-4 от человека-агента при взаимодействии с ними в рамках разговора двух человек.

«Идея этой статьи на самом деле возникла у Бена на курсе LLM», — рассказал Tech Xplore Кэмерон Джонс, соавтор статьи.

«В первую неделю мы читали несколько классических статей о тесте Тьюринга и обсуждали, сможет ли дипломированный специалист пройти его и будет ли это иметь значение, если он сможет. Насколько я мог судить, на тот момент никто не пробовал, поэтому я решил провести эксперимент, чтобы проверить это в качестве своего классного проекта, а затем мы приступили к проведению первого публичного исследовательского эксперимента».

Первое исследование, проведенное Джонсом под руководством Бергена, профессора когнитивных наук Калифорнийского университета в Сан-Диего, дало некоторые интересные результаты, предполагающие, что GPT-4 может выдавать себя за человека примерно в 50% взаимодействий. Тем не менее, их исследовательский эксперимент плохо контролировал некоторые переменные, которые могли повлиять на результаты, поэтому они решили провести второй эксперимент, получив результаты, представленные в их недавней статье.

«В процессе проведения исследований мы обнаружили, что другие люди также проделали большую работу в этой области, в том числе в игре Джаннаи и др. «Человек или нет» , — сказал Джонс. «Мы создали онлайн-версию игры для двух игроков, в которой участники-люди будут сопоставлены либо с другим человеком, либо с моделью искусственного интеллекта».

Во время каждого испытания игры для двух игроков, которую использовали Джонс и его коллеги, следователь-человек взаимодействует со «свидетелем», которым может быть либо человек, либо агент ИИ. Следователь задает свидетелю ряд вопросов, чтобы попытаться определить, человек это или нет.

«Беседы длились до пяти минут, и в конце следователь выносил суждение о том, считали ли они, что свидетель был человеком или искусственным интеллектом», — пояснил Джонс. «В течение пяти минут участники могли говорить о чем угодно (кроме оскорбительных высказываний, для предотвращения которых мы использовали фильтр)».

В этой компьютерной игре для двух игроков исследователи использовали три разных LLM в качестве потенциальных свидетелей, а именно модели GPT-4, GPT 3.5 и ELIZA. Они обнаружили, что, хотя пользователи часто могли определить, что модели ELIZA и GPT-3.5 были машинами, их способность выяснить, был ли GPT-4 человеком или машиной, была не лучше, чем вероятность того, что они сделают правильный выбор, выбрав случайным образом (т. е. случайно).

«Хотя реальные люди на самом деле были более успешными, убеждая допрашивающих, что они люди, в двух третях случаев, наши результаты показывают, что в реальном мире люди могут быть не в состоянии достоверно сказать, разговаривают ли они с человеком или с системой искусственного интеллекта. », — сказал Джонс.

«На самом деле, в реальном мире люди могут быть менее осведомлены о возможности того, что они разговаривают с системой ИИ, поэтому уровень обмана может быть еще выше. Я думаю, это может иметь последствия для тех вещей, которые ИИ системы будут использоваться как для автоматизации работы с клиентами, так и для мошенничества или дезинформации».

Результаты теста Тьюринга, проведенного Джонсом и Бергеном, показывают, что LLM, особенно GPT-4, стали практически неотличимы от людей во время коротких разговоров в чате. Эти наблюдения показывают, что люди вскоре могут стать все более недоверчивыми к другим, с которыми они общаются в Интернете, поскольку они могут все больше не быть уверенными в том, люди они или боты.

Теперь исследователи планируют обновить и вновь открыть общедоступный тест Тьюринга, который они разработали для этого исследования, чтобы проверить некоторые дополнительные гипотезы. Их будущие работы могут дать дополнительную интересную информацию о том, в какой степени люди могут различать людей и студентов-магистров права.

«Мы заинтересованы в запуске версии игры для трех человек, в которой следователь одновременно разговаривает с человеком и системой искусственного интеллекта и должен выяснить, кто есть кто», — добавил Джонс.

«Мы также заинтересованы в тестировании других видов настроек ИИ, например, предоставления агентам доступа к новостям и погоде в реальном времени или к «блокноту», где они могут делать заметки, прежде чем ответить. Наконец, мы заинтересованы в проверке убедительности ИИ. возможности распространяются и на другие области, например, убеждать людей верить лжи, голосовать за конкретную политику или жертвовать деньги на какое-либо дело».