За последние три года генеративный искусственный интеллект (ИИ) оказал глубокое влияние на общество. В частности, его влияние на человеческую письменность оказалось огромным.
Крупные языковые модели, лежащие в основе таких инструментов искусственного интеллекта, как ChatGPT, обучаются на самых разнообразных текстовых данных и теперь способны самостоятельно создавать сложные и высококачественные тексты.
Самое важное, что широкое использование инструментов ИИ привело к гиперпроизводству так называемого «хлама ИИ»: низкокачественных результатов, созданных ИИ с минимальными или даже нулевыми усилиями человека.
Многое было сказано о том, что означает использование ИИ в написании текстов для образования, работы и культуры. Но как насчет науки? Улучшает ли ИИ академическое письмо или он просто производит «научную чепуху, созданную ИИ»?
Согласно новому исследованию ученых из Калифорнийского университета в Беркли и Корнельского университета, опубликованному в журнале Science , помои побеждают.
Генеративный ИИ повышает академическую продуктивность
Исследователи проанализировали аннотации более миллиона препринтов (общедоступных статей, еще не прошедших рецензирование), опубликованных в период с 2018 по 2024 год.
Они исследовали, связана ли использование ИИ с повышением академической продуктивности, качества рукописей и использованием более разнообразной литературы.
Количество опубликованных автором препринтов служило показателем его продуктивности, а последующая публикация в журнале — показателем качества статьи.
Исследование показало, что когда автор начал использовать ИИ, количество публикуемых им препринтов резко возросло. В зависимости от платформы для препринтов, общее количество статей, публикуемых автором в месяц после внедрения ИИ, увеличилось на 36,2–59,8%.
Наибольший рост наблюдался среди авторов, для которых английский не является родным языком , особенно среди авторов азиатского происхождения, где он варьировался от 43% до 89,3%. Для авторов из англоязычных учреждений и с «европейскими» именами рост был более скромным, в диапазоне от 23,7% до 46,2%.
Эти результаты свидетельствуют о том, что ИИ часто использовался носителями других языков для улучшения их письменного английского.
А как насчет качества статьи?
Исследование показало, что в статьях, написанных с использованием ИИ, в среднем используется более сложный язык, чем в статьях, написанных без ИИ.
Однако среди статей, написанных без использования ИИ, чаще публиковались те, в которых применялся более сложный язык.
Это говорит о том, что более сложные и качественные тексты воспринимаются как обладающие большей научной ценностью.
Однако, когда речь зашла о статьях, написанных с помощью ИИ , эта зависимость оказалась обратной — чем сложнее был язык, тем меньше была вероятность публикации статьи. Это говорит о том, что сложный язык, сгенерированный ИИ, использовался для сокрытия низкого качества научной работы.
Искусственный интеллект расширил разнообразие академических источников.
В исследовании также рассматривались различия в количестве загрузок статей, поступающих с поисковых платформ Google и Microsoft.
В феврале 2023 года поисковая система Bing от Microsoft представила функцию Bing Chat, работающую на основе искусственного интеллекта. Это позволило исследователям сравнить, какие типы статей рекомендовал поиск с использованием ИИ и обычный поисковый движок.
Интересно, что пользователи Bing имели доступ к большему разнообразию источников, чем пользователи Google, а также к более свежим публикациям. Вероятно, это связано с методом, используемым в Bing Chat, называемым генерацией с расширенным поиском , который сочетает результаты поиска с подсказками искусственного интеллекта.
В любом случае, опасения, что поиск с использованием ИИ «застрянет», рекомендуя старые, широко используемые источники, оказались неоправданными.
Вперед
Искусственный интеллект оказал значительное влияние на научную литературу и академические публикации. Он стал неотъемлемой частью академического письма для многих ученых, особенно для тех, кто не является носителем языка, и он останется с нами надолго.
Поскольку искусственный интеллект все чаще внедряется во многие приложения, такие как текстовые редакторы, почтовые приложения и электронные таблицы, вскоре станет невозможно не использовать ИИ, хотим мы этого или нет.
Что особенно важно для науки, ИИ ставит под сомнение использование сложного, высококачественного языка в качестве показателя научной ценности. Быстрая проверка и оценка статей на основе качества языка становятся все менее надежными, и срочно необходимы более совершенные методы.
Поскольку сложный язык все чаще используется для сокрытия слабых научных достижений, критическая и углубленная оценка методологии исследований и их вклада в процессе рецензирования становится крайне важной.
Один из подходов — «бороться с огнём огнём» и использовать инструменты рецензирования на основе искусственного интеллекта, такие как тот, что недавно опубликовал Эндрю Нг из Стэнфорда. Учитывая постоянно растущее число поступающих рукописей и и без того высокую рабочую нагрузку редакторов академических журналов, такие подходы могут быть единственным жизнеспособным вариантом.
