Группа компьютерных ученых под руководством Университета Колорадо в Боулдере разработала новую платформу искусственного интеллекта, которая автоматически ищет «сомнительные» научные журналы.
Исследование, опубликованное 27 августа в журнале Science Advances, рассматривает тревожную тенденцию в мире исследований.
Даниэль Акунья, ведущий автор исследования и доцент кафедры компьютерных наук, получает напоминание об этом по электронной почте несколько раз в неделю: эти спам-сообщения приходят от людей, которые представляются редакторами научных журналов (обычно тех, о которых Акунья никогда не слышал), и предлагают опубликовать его статьи за внушительную плату.
Такие издания иногда называют «хищными» журналами. Они нападают на учёных, убеждая их платить сотни, а то и тысячи долларов за публикацию своих исследований без надлежащей проверки.
«Учёные и организации всё активнее проверяют эти журналы», — сказал Акунья. «Но это как охота на крота. Поймаешь одного, и тут же появляется другой, обычно из той же компании. Они просто создают новый сайт и придумывают новое название».
Новый инструмент искусственного интеллекта, разработанный его группой, автоматически проверяет научные журналы , оценивая их веб-сайты и другие онлайн-данные по определённым критериям: есть ли у журналов редколлегия, состоящая из известных исследователей? Содержат ли их веб-сайты множество грамматических ошибок?
Акунья подчёркивает, что этот инструмент не идеален. В конечном счёте, он считает, что окончательное решение о репутации журнала должны принимать люди-эксперты, а не машины.
Но в эпоху, когда видные деятели подвергают сомнению легитимность науки, прекращение распространения сомнительных публикаций стало важнее, чем когда-либо прежде, сказал он.
«В науке не начинают с нуля. Надстройка опирается на исследования других», — сказал Акунья. «Поэтому, если фундамент этой башни рухнет, рухнет и всё».
Встряска
Когда учёные отправляют новое исследование в авторитетное издание, оно обычно проходит процедуру, называемую рецензированием . Внешние эксперты читают исследование и оценивают его качество — или, по крайней мере, это является целью.
Всё больше компаний пытаются обойти этот процесс, чтобы получить прибыль. В 2009 году Джеффри Билл, библиотекарь Денверского университета, придумал термин «журналы-хищники» для описания таких изданий.
Зачастую они нацелены на исследователей за пределами США и Европы, например, в Китае, Индии и Иране — странах, где научные учреждения могут быть молодыми, а давление и стимулы для исследователей публиковать статьи высоки.
«Они скажут: „Если вы заплатите 500 или 1000 долларов, мы рассмотрим вашу работу“», — сказал Акунья. «На самом деле они не предоставляют никаких услуг. Они просто берут PDF-файл и публикуют его на своём сайте».
Несколько различных групп пытаются обуздать эту практику. Среди них — некоммерческая организация «Справочник журналов открытого доступа» (DOAJ). С 2003 года волонтёры DOAJ отметили тысячи журналов как подозрительные по шести критериям. (Например, авторитетные издания, как правило, публикуют на своих сайтах подробное описание своей политики рецензирования.)
Однако для людей оказалось непросто успевать за распространением этих публикаций.
Чтобы ускорить процесс, Акунья и его коллеги обратились к ИИ. Команда обучила свою систему, используя данные DOAJ, а затем поручила ИИ просмотреть список из почти 15 200 журналов в открытом доступе в интернете.
Среди этих журналов ИИ изначально пометил более 1400 как потенциально проблемные.
Акунья и его коллеги попросили экспертов-людей проверить подмножество подозрительных журналов. ИИ, по словам людей, допустил ошибки, пометив около 350 публикаций как сомнительные, хотя они, вероятно, были подлинными. Тем не менее, более 1000 журналов исследователи посчитали сомнительными.
«Я думаю, это следует использовать как вспомогательное средство для предварительной проверки большого количества журналов», — сказал он. «Но окончательный анализ должны проводить профессионалы».
Акунья добавил, что исследователи не хотели, чтобы их система была «черным ящиком», как некоторые другие платформы ИИ.
«С ChatGPT, например, часто не понимаешь, почему он предлагает что-то», — сказал Акунья. «Мы постарались сделать наш вариант максимально понятным».
Группа обнаружила, например, что сомнительные журналы публиковали необычно большое количество статей. Среди них были авторы с большим количеством аффилированных организаций, чем в более авторитетных журналах, и авторы, которые цитировали собственные исследования, а не работы других учёных, в необычно высоком количестве.
Новая система искусственного интеллекта недоступна для широкой публики, но исследователи надеются вскоре сделать её доступной университетам и издательствам. Акунья рассматривает этот инструмент как один из способов защиты исследователей от некорректных данных — он называет его «файрволом науки».
«Как специалист по информатике, я часто привожу в пример выход нового смартфона, — сказал он. — Мы знаем, что в программном обеспечении телефона будут недостатки, и ожидаем, что в будущем их исправят. Вероятно, нам стоит поступить так же и с наукой».
