Ученые все больше обеспокоены тем, что отсутствие воспроизводимости в исследованиях может привести, среди прочего, к неточностям, которые замедлят научную продукцию и снизят доверие общества к науке. Теперь группа исследователей сообщает, что создание рынка прогнозов, на котором агенты с искусственным интеллектом (ИИ) делают прогнозы или делают ставки на гипотетических повторных исследованиях, может привести к объяснимому, масштабируемому подходу к оценке достоверности опубликованных научных работ.

По словам Сары Райтмайер, доцента кафедры информационных наук и технологий Пенсильванского университета, повторение экспериментов и исследований — важный шаг в научном процессе — помогает обеспечить уверенность в результатах и ​​показывает, могут ли они быть обобщены в разных контекстах. По мере того, как эксперименты становились все более сложными, дорогостоящими и трудоемкими, ученым все больше не хватало ресурсов для надежных усилий по воспроизведению — то, что они теперь часто называют «кризисом воспроизводства».

«Как ученые, мы хотим работать, и мы хотим знать, что наша работа хороша», — сказал Райтмайер. «Наш подход к преодолению кризиса репликации состоит в том, чтобы использовать ИИ, чтобы помочь предсказать, будет ли повторяться открытие, если оно повторится, и почему».

Краудсорсинговые рынки прогнозов можно сравнить с букмекерскими конторами, которые помогают прогнозировать события реального мира, а не скачки или результаты футбольных матчей. Эти рынки уже использовались, чтобы помочь предвидеть все, от выборов до распространения инфекционных заболеваний.

«Что нас вдохновило, так это успех рынков предсказаний именно в этой задаче — то есть, когда вы размещаете исследователей на рынке и даете им немного денег, чтобы они могли делать ставки на результаты повторений, они довольно хорошо с этим справляются», — сказал Райтмайер, который является научным сотрудником Института этики рока и сотрудником Института вычислений и наук о данных. «Но рынки предсказаний, управляемые людьми, дороги и медленны. И в идеале вы должны запускать репликации параллельно с рынком, чтобы исследователи делали ставку на некую истину. Она просто не масштабируется».

Подход, основанный на ботах, масштабируется и предлагает некоторое объяснение своих выводов, основанное на торговых моделях и особенностях документов и заявлений, которые повлияли на поведение ботов. В подходе команды боты обучены распознавать ключевые особенности в научных научных работах, такие как авторы и учреждения, статистика и лингвистические подсказки, последующие упоминания и аналогичные исследования в литературе, а затем оценивать достоверность исследования. достаточно надежен, чтобы воспроизвести его в будущих исследованиях. Точно так же, как человек делает ставку на результаты спортивного события, бот затем делает ставку на уровень своей уверенности. Результаты ботов с искусственным интеллектом сравниваются со ставками, сделанными в прогнозах людей.

К. Ли Джайлс, профессор Дэвида Риза в Колледже информационных наук и технологий, сказал, что, хотя рынки предсказаний, основанные на людях, хорошо известны и успешно используются в ряде областей, рынки предсказаний являются новыми для изучения результатов исследований. .

«Вероятно, это самое интересное и уникальное, чем мы здесь занимаемся», — сказал Джайлз, который также является сотрудником ICDS. «Мы уже видели, что люди неплохо разбираются в рынках предсказаний. Но здесь мы используем ботов для нашего рынка , что немного необычно и довольно забавно».

По словам исследователей, которые представили свои результаты на недавнем собрании Ассоциации развития искусственного интеллекта, система предоставила оценки достоверности примерно 68 из 192 статей — или около 35% — статей, которые в конечном итоге были воспроизведены, или наземные исследования репликации правды. На этом наборе документов точность составила примерно 90%.

Поскольку люди, как правило, лучше предсказывают воспроизводимость исследований, но боты могут работать в масштабе, Джайлз и Райтмайер предполагают, что гибридный подход — человек и боты, работающие вместе — может дать лучшее из обоих миров: система, которая будет иметь более высокую точность, но все же быть масштабируемым.

«Возможно, мы можем время от времени обучать ботов в присутствии торговцев-людей, а затем развертывать их в автономном режиме, когда нам нужен быстрый результат или когда нам нужны масштабные усилия по репликации», — сказал Райтмайер. «Более того, мы можем создавать рынки ботов, которые также используют эту нематериальную человеческую мудрость. Это то, над чем мы сейчас работаем».