Ученые привлекают агентов по ставкам на ИИ, чтобы помочь решить проблемы воспроизводимости исследований

Прочитано: 181 раз(а)


Ученые все больше обеспокоены тем, что отсутствие воспроизводимости в исследованиях может привести, среди прочего, к неточностям, которые замедлят научную продукцию и снизят доверие общества к науке. Теперь группа исследователей сообщает, что создание рынка прогнозов, на котором агенты с искусственным интеллектом (ИИ) делают прогнозы или делают ставки на гипотетических повторных исследованиях, может привести к объяснимому, масштабируемому подходу к оценке достоверности опубликованных научных работ.

По словам Сары Райтмайер, доцента кафедры информационных наук и технологий Пенсильванского университета, повторение экспериментов и исследований — важный шаг в научном процессе — помогает обеспечить уверенность в результатах и ​​показывает, могут ли они быть обобщены в разных контекстах. По мере того, как эксперименты становились все более сложными, дорогостоящими и трудоемкими, ученым все больше не хватало ресурсов для надежных усилий по воспроизведению — то, что они теперь часто называют «кризисом воспроизводства».

«Как ученые, мы хотим работать, и мы хотим знать, что наша работа хороша», — сказал Райтмайер. «Наш подход к преодолению кризиса репликации состоит в том, чтобы использовать ИИ, чтобы помочь предсказать, будет ли повторяться открытие, если оно повторится, и почему».

Краудсорсинговые рынки прогнозов можно сравнить с букмекерскими конторами, которые помогают прогнозировать события реального мира, а не скачки или результаты футбольных матчей. Эти рынки уже использовались, чтобы помочь предвидеть все, от выборов до распространения инфекционных заболеваний.

«Что нас вдохновило, так это успех рынков предсказаний именно в этой задаче — то есть, когда вы размещаете исследователей на рынке и даете им немного денег, чтобы они могли делать ставки на результаты повторений, они довольно хорошо с этим справляются», — сказал Райтмайер, который является научным сотрудником Института этики рока и сотрудником Института вычислений и наук о данных. «Но рынки предсказаний, управляемые людьми, дороги и медленны. И в идеале вы должны запускать репликации параллельно с рынком, чтобы исследователи делали ставку на некую истину. Она просто не масштабируется».

Подход, основанный на ботах, масштабируется и предлагает некоторое объяснение своих выводов, основанное на торговых моделях и особенностях документов и заявлений, которые повлияли на поведение ботов. В подходе команды боты обучены распознавать ключевые особенности в научных научных работах, такие как авторы и учреждения, статистика и лингвистические подсказки, последующие упоминания и аналогичные исследования в литературе, а затем оценивать достоверность исследования. достаточно надежен, чтобы воспроизвести его в будущих исследованиях. Точно так же, как человек делает ставку на результаты спортивного события, бот затем делает ставку на уровень своей уверенности. Результаты ботов с искусственным интеллектом сравниваются со ставками, сделанными в прогнозах людей.

К. Ли Джайлс, профессор Дэвида Риза в Колледже информационных наук и технологий, сказал, что, хотя рынки предсказаний, основанные на людях, хорошо известны и успешно используются в ряде областей, рынки предсказаний являются новыми для изучения результатов исследований. .

«Вероятно, это самое интересное и уникальное, чем мы здесь занимаемся», — сказал Джайлз, который также является сотрудником ICDS. «Мы уже видели, что люди неплохо разбираются в рынках предсказаний. Но здесь мы используем ботов для нашего рынка , что немного необычно и довольно забавно».

По словам исследователей, которые представили свои результаты на недавнем собрании Ассоциации развития искусственного интеллекта, система предоставила оценки достоверности примерно 68 из 192 статей — или около 35% — статей, которые в конечном итоге были воспроизведены, или наземные исследования репликации правды. На этом наборе документов точность составила примерно 90%.

Поскольку люди, как правило, лучше предсказывают воспроизводимость исследований, но боты могут работать в масштабе, Джайлз и Райтмайер предполагают, что гибридный подход — человек и боты, работающие вместе — может дать лучшее из обоих миров: система, которая будет иметь более высокую точность, но все же быть масштабируемым.

«Возможно, мы можем время от времени обучать ботов в присутствии торговцев-людей, а затем развертывать их в автономном режиме, когда нам нужен быстрый результат или когда нам нужны масштабные усилия по репликации», — сказал Райтмайер. «Более того, мы можем создавать рынки ботов, которые также используют эту нематериальную человеческую мудрость. Это то, над чем мы сейчас работаем».

Ученые привлекают агентов по ставкам на ИИ, чтобы помочь решить проблемы воспроизводимости исследований



Новости партнеров