Распространенной истиной среди статистиков является то, что «данные не лгут». Однако недавние открытия итальянских исследователей могут заставить тех, кто изучает данные, дважды подумать, прежде чем делать такие предположения.

Джузеппе Джаннаккаре, глазной хирург из Университета Кальяри в Италии, сообщает, что ChatGPT собрал массу убедительных фальшивых данных, подтверждающих преимущества одной хирургической операции на глазах над другой.

«GPT-4 за считанные минуты создал фальшивый набор данных о сотнях пациентов», — сказал Джаннаккаре. «Это был удивительный, но пугающий опыт».

Было бесчисленное множество историй о великих достижениях и потенциале ChatGPT с тех пор, как модель была представлена ​​миру год назад. Но наряду с положительными моментами были и истории о том, что ChatGPT выдавал ошибочную, неточную или откровенно ложную информацию .

Буквально в этом месяце Кембриджский словарь объявил словом года слово «галлюцинация» — склонность крупных языковых моделей спонтанно выдавать ложную информацию.

Для студентов, выполняющих научные исследования, такие ложные данные являются неприятностью. Они могли получить неудовлетворительные оценки. Для двух юристов, которые прошлой весной невольно воспользовались ChatGPT для составления историй болезни, которые оказались сфабрикованными, наказанием стал штраф в размере 5000 долларов и судебные санкции.

Но с учетом того, что фальшивые данные могут проникнуть в медицинские исследования и повлиять на медицинские процедуры , угроза и ее последствия становятся гораздо более серьезными.

«Одно дело, что генеративный ИИ можно использовать для генерации текстов, которые невозможно обнаружить с помощью программного обеспечения для выявления плагиата, но возможность создавать фальшивые, но реалистичные наборы данных — это следующий уровень беспокойства», — говорит Элизабет Бик, консультант по вопросам целостности исследований. в Сан-Франциско. «Любому исследователю или группе исследователей будет очень легко создавать фальшивые измерения несуществующих пациентов, фальшивые ответы на анкеты или генерировать большой набор данных об экспериментах на животных».

Джаннаккаре и его команда поручили GPT-4, связанному с усовершенствованной моделью анализа данных на основе Python, генерировать данные клинических испытаний для двух подходов к лечению распространенного заболевания глаз — кератоконуса.

Модель получала огромное количество «очень сложных» подсказок с подробным описанием состояния глаз, статистикой субъектов и набором правил для достижения результатов. Затем они поручили ему обеспечить «значительно лучшие визуальные и топографические результаты» для одной процедуры по сравнению с другой.

Результатом стал убедительный довод в пользу предпочтительной процедуры, но основанный на полностью фальшивой информации. Согласно более ранним реальным тестам, между двумя подходами не было существенной разницы.

«Похоже, что довольно легко создать наборы данных , которые хотя бы на первый взгляд правдоподобны», — сказал Джек Уилкинсон, биостатистик из Манчестерского университета, Великобритания. Он сказал, что результаты GTP-4 «для неподготовленного глаза определенно выглядят как настоящий набор данных».

«Цель этого исследования состояла в том, чтобы пролить свет на темную сторону ИИ, продемонстрировав, насколько легко создавать данные и манипулировать ими для намеренного достижения предвзятых результатов и получения ложных медицинских доказательств», — сказал Джаннаккаре. «Ящик Пандоры открыт, и мы пока не знаем, как научное сообщество отреагирует на потенциальные злоупотребления и угрозы, связанные с ИИ».

В статье «Злоупотребление расширенным анализом данных большой языковой модели для создания фальшивого набора данных в медицинских исследованиях», опубликованной в журнале JAMA Ophthalmology , признается, что более тщательное изучение данных может выявить явные признаки возможной фальсификации. Одним из таких примеров было неестественное количество искусственно созданных возрастов субъектов, заканчивающихся цифрами 7 или 8.

Джаннаккаре сказал, что, поскольку результаты, полученные с помощью ИИ, искажают фактические исследования, ИИ также может сыграть важную роль в разработке более эффективных подходов к обнаружению мошенничества.

«Правильное использование ИИ может быть очень полезным для научных исследований », — сказал он, добавив, что это «существенно изменит будущее академической честности».