Исследователи использовали комбинацию автоматизированного анализа текста и робота-ученого Еву, чтобы полуавтоматизировать процесс воспроизведения результатов исследования. Проблема отсутствия воспроизводимости — один из самых больших кризисов, стоящих перед современной наукой.
Исследователи под руководством Кембриджского университета проанализировали более 12 000 научных работ по биологии клеток рака молочной железы. После сужения набора до 74 статей, представляющих большой научный интерес, было обнаружено, что менее одной трети — 22 статьи — воспроизводимы. В двух случаях Еве удалось сделать счастливые открытия.
Результаты, опубликованные в Journal of the Royal Society Interface, демонстрируют, что робототехнику и искусственный интеллект можно использовать для преодоления кризиса воспроизводимости.
Успешный эксперимент — это тот, в котором другой ученый в другой лаборатории в аналогичных условиях может достичь того же результата. Но более 70% исследователей пытались и не смогли воспроизвести эксперименты другого ученого, и более половины не смогли воспроизвести некоторые из своих собственных экспериментов: это кризис воспроизводимости.
«Хорошая наука зависит от воспроизводимости результатов; в противном случае результаты по существу бессмысленны», — сказал профессор Росс Кинг из Кембриджского факультета химической инженерии и биотехнологии, который руководил исследованием. «Это особенно важно в биомедицине: если я пациент и читаю о многообещающем новом потенциальном лечении, но результаты не воспроизводимы, как я должен знать, во что верить? В результате люди могут потерять доверие к наука.»
Несколько лет назад Кинг разработал робота-ученого Еву, компьютерную/роботизированную систему, которая использует методы искусственного интеллекта (ИИ) для проведения научных экспериментов.
«Одним из больших преимуществ использования машин в науке является то, что они более точны и записывают детали более точно, чем это может сделать человек», — сказал Кинг. «Это делает их подходящими для работы по воспроизведению научных результатов ».
В рамках проекта, финансируемого DARPA, Кинг и его коллеги из Великобритании, США и Швеции разработали эксперимент, в котором используется комбинация ИИ и робототехники, чтобы помочь преодолеть кризис воспроизводимости, заставив компьютеры читать научные статьи и понимать их, а также заставить Еву попытаться воспроизвести эксперименты.
Для текущей статьи команда сосредоточилась на исследованиях рака. «Литература по раку огромна, но никто никогда не делает одно и то же дважды, что делает воспроизводимость огромной проблемой», — сказал Кинг. «Учитывая огромные суммы денег, потраченные на исследования рака, и огромное количество людей, страдающих раком во всем мире, это область, в которой нам срочно необходимо улучшить воспроизводимость».
Из первоначального набора из более чем 12 000 опубликованных научных работ исследователи использовали методы автоматизированного анализа текста для извлечения утверждений, связанных с изменением экспрессии генов в ответ на медикаментозное лечение рака молочной железы. Из этого набора было отобрано 74 статьи.
Две разные группы людей использовали Еву и две клеточные линии рака молочной железы и попытались воспроизвести 74 результата. Статистически значимые доказательства воспроизводимости были обнаружены для 43 работ, что означает, что результаты можно воспроизвести в идентичных условиях; и значительные доказательства воспроизводимости или надежности были обнаружены в 22 статьях, что означает, что результаты были воспроизведены разными учеными в аналогичных условиях. В двух случаях автоматика сделала неожиданные открытия.
Хотя в этом эксперименте было обнаружено, что воспроизводятся только 22 из 74 статей, исследователи говорят, что это не означает, что остальные статьи не воспроизводимы с научной точки зрения или не надежны. «Существует множество причин, по которым тот или иной результат нельзя воспроизвести в другой лаборатории, — сказал Кинг. «Клеточные линии иногда могут изменять свое поведение, например, в разных лабораториях и в разных условиях. Самое важное отличие, которое мы обнаружили, заключалось в том, что имеет значение, кто проводит эксперимент, потому что все люди разные».
Кинг говорит, что эта работа показывает, что автоматизированные и полуавтоматические методы могут быть важным инструментом, помогающим справиться с кризисом воспроизводимости , и что воспроизводимость должна стать стандартной частью научного процесса.
«Просто шокирует, насколько серьезной проблемой является воспроизводимость в науке, и потребуется полная перестройка того, как делается большая часть науки», — сказал Кинг. «Мы считаем, что машины играют ключевую роль в решении этой проблемы».
