Может ли искусственный интеллект (ИИ) создавать словесные головоломки, столь же увлекательные и сложные, как те, что придуманы экспертами-людьми? Исследование , опубликованное на сервере препринтов arXiv , предполагает, что ответ может быть положительным — по крайней мере, когда речь идет о популярной игре Connections от The New York Times.

Исследователи из Школы инженерии имени Тандона при Нью-Йоркском университете и Jester Labs разработали систему искусственного интеллекта, способную генерировать новые головоломки Connections, которые часто конкурируют с головоломками, созданными разработчиками Times.

В исследовании пользователей участники играли в головоломки, созданные ИИ, и официальные головоломки Times, не зная их источника. Примерно в половине сравнений лицом к лицу игроки оценили головоломки ИИ как такие же или более увлекательные, креативные и сложные, чем их аналоги, созданные человеком.

Их результаты проливают свет на творческие возможности крупных языковых моделей, таких как GPT-4.

Connections, дебютировавшая в июне 2023 года, предлагает игрокам отсортировать 16 слов в четыре тематически связанные группы по четыре слова. Игра быстро стала одним из самых популярных онлайн-предложений Times, уступая только Wordle, с миллиардами воспроизведений в год.

Для создания головоломок, сгенерированных ИИ, исследователи использовали подход «агентного рабочего процесса». Этот метод подразумевает использование GPT-4 в нескольких специализированных ролях на протяжении всего процесса создания головоломок.

Вместо того, чтобы просить ИИ сгенерировать всю головоломку сразу, исследователи разбили задачу на более мелкие, более целенаправленные шаги. Для каждого шага они давали GPT-4 конкретные инструкции, фактически заставляя его играть разные роли, такие как создатель головоломки, редактор и оценщик сложности.

Такой подход позволил команде эффективнее использовать возможности ИИ, проведя его через процесс, имитирующий подход дизайнеров-людей к созданию головоломок.

«Мы обнаружили, что для решения сложной задачи, такой как создание головоломки Connections, недостаточно просто попросить ИИ сделать это», — сказал Тимоти Мерино, аспирант в игровой инновационной лаборатории Нью-Йоркского университета Тандон, который является ведущим автором исследования. «Разбив задачу на более мелкие, более управляемые шаги и используя LLM в качестве инструмента различными способами, мы достигли лучших результатов».

Старший автор статьи Джулиан Тогелиус — доцент кафедры компьютерных наук и инженерии в Нью-Йоркском университете в Тандоне и директор Лаборатории игровых инноваций — подчеркнул важность этого подхода. «LLM имеет решающее значение для нашей системы, но он не на руле. Мы используем его в разных частях системы для определенных задач , например, для запроса наилучшей концепции, которая будет применима к определенному списку слов».

Исследователи также выделили два основных способа, которыми головоломки создают трудности: «Преднамеренное совпадение» и «Ложные группы». Они проанализировали сходство слов по отношению к уровням сложности, обнаружив, что более простые группы слов, как правило, имеют больше похожих слов, в то время как более сложные группы имеют меньше похожих слов.

«Я постоянно удивлялся тому, насколько хорош GPT в создании умных групп слов», — сказал Мерино. «Одно из моих любимых, сгенерированных ИИ, — это «слова из альбомов Beatles»: «Abbey», «Mystery», «Pepper» и «White».

По словам исследователей, это исследование имеет последствия, выходящие за рамки словесных игр. Это шаг к лучшему пониманию как возможностей ИИ, так и человеческого творчества.

«Эта работа не просто о создании головоломок», — сказал Тогелиус. «Речь идет об использовании ИИ для проверки и уточнения наших теорий о том, что делает хорошую головоломку в первую очередь. Связи — это достойная область исследований, потому что то, что делает хорошую игру, нелегко определить. Мы можем усовершенствовать наше понимание игрового дизайна, создавая теории о том, что делает хорошие игры, внедряя их в алгоритмы и проверяя, действительно ли хороши игры, сгенерированные алгоритмами».

Эта недавняя статья основана на продолжающемся исследовании Game Innovation Lab в области ИИ и Connections. В исследовании, опубликованном ранее в этом году, исследователи лаборатории оценили мастерство различных моделей ИИ в решении головоломок Connections. Их выводы показали, что, хотя GPT-4 превзошла другие модели, она все еще не освоила игру , успешно решив только около 29 процентов представленных головоломок.