ChatGPT: исследование показывает, что искусственный интеллект может создавать академические статьи, достаточно хорошие для журналов — так же, как некоторые это запрещают.
Некоторые из крупнейших в мире издателей академических журналов запретили или запретили своим авторам использовать продвинутый чат-бот ChatGPT. Поскольку бот использует информацию из Интернета для получения легко читаемых ответов на вопросы, издатели обеспокоены тем, что неточная или плагиатная работа может попасть на страницы академической литературы.
Несколько исследователей уже указали чат-бота в качестве соавтора академических исследований, а некоторые издатели запретили эту практику. Но главный редактор журнала Science , одного из ведущих научных журналов мира, пошел еще дальше и запретил любое использование текста из программы в представляемых статьях.
Неудивительно, что использование таких чат-ботов вызывает интерес у академических издателей. Наше недавнее исследование, опубликованное в Finance Research Letters , показало, что ChatGPT можно использовать для написания статьи по финансам, которая будет принята для академического журнала. Хотя в некоторых областях бот работал лучше, чем в других, добавление нашего собственного опыта помогло преодолеть ограничения программы в глазах обозревателей журналов.
Однако мы утверждаем, что издатели и исследователи не обязательно должны рассматривать ChatGPT как угрозу, а скорее как потенциально важного помощника в исследованиях — недорогого или даже бесплатного электронного помощника.
Мы думали так: если легко получить хорошие результаты от ChatGPT, просто используя его, возможно, мы можем сделать что-то еще, чтобы превратить эти хорошие результаты в отличные.
Сначала мы попросили ChatGPT сгенерировать стандартные четыре части исследования: идея исследования, обзор литературы (оценка предыдущих научных исследований по той же теме), набор данных и предложения по тестированию и изучению. Мы указали только широкую тему и то, что результаты должны быть опубликованы в «хорошем финансовом журнале».
Это была первая версия того, как мы решили использовать ChatGPT. Во второй версии мы вставили в окно ChatGPT чуть менее 200 тезисов (резюме) соответствующих существующих исследований.
Затем мы попросили программу принять это во внимание при создании четырех этапов исследования. Наконец, в третьей версии мы добавили «опыт в предметной области» — вклад ученых-исследователей. Мы читали ответы, выдаваемые компьютерной программой, и вносили предложения по улучшению. При этом мы объединили наш опыт с опытом ChatGPT.
Затем мы попросили группу из 32 рецензентов, каждый из которых рассмотрел одну версию того, как ChatGPT можно использовать для проведения академического исследования. Рецензентов попросили оценить, был ли результат достаточно полным, правильным и внес ли он достаточно новый вклад, чтобы его можно было опубликовать в «хорошем» академическом финансовом журнале.
Большой урок для себя заключался в том, что все эти исследования в целом считались приемлемыми экспертами-рецензентами. Это довольно поразительно: считалось, что чат-бот способен генерировать качественные идеи для научных исследований. Это поднимает фундаментальные вопросы о значении творчества и права собственности на творческие идеи — вопросы, на которые еще ни у кого нет твердых ответов.
Сильные и слабые стороны
Результаты также подчеркивают некоторые потенциальные сильные и слабые стороны ChatGPT. Мы обнаружили, что разные разделы исследований оценивались по-разному. Идея исследования и набор данных, как правило, получали высокую оценку. Был более низкий, но все же приемлемый рейтинг для обзоров литературы и предложений по тестированию.
Мы подозреваем, что ChatGPT особенно силен в том, чтобы брать набор внешних текстов и соединять их (суть исследовательской идеи) или брать легко идентифицируемые разделы из одного документа и корректировать их (примером является сводка данных — легко идентифицируемый «текстовый фрагмент» в большинстве исследований).
Относительная слабость платформы стала очевидной, когда задача была более сложной — когда в концептуальном процессе было слишком много этапов. Обзоры литературы и тестирование, как правило, попадают в эту категорию. ChatGPT, как правило, хорошо справлялся с некоторыми из этих шагов, но не со всеми. Это, кажется, было подхвачено рецензентами.
Однако мы смогли преодолеть эти ограничения в нашей самой продвинутой версии (третьей версии), где мы работали с ChatGPT, чтобы получить приемлемые результаты. Все разделы передового исследования были затем высоко оценены рецензентами, что говорит о том, что роль академических исследователей еще не умерла.
Этические последствия
ChatGPT — это инструмент. В нашем исследовании мы показали, что при определенной осторожности его можно использовать для создания приемлемого финансового исследования. Даже без осторожности он производит правдоподобную работу.
Это имеет некоторые четкие этические последствия. Целостность исследований уже является насущной проблемой в академических кругах , и веб-сайты, такие как RetractionWatch , передают постоянный поток поддельных, плагиатных и просто ошибочных исследований. Может ли ChatGPT усугубить эту проблему?
Это может быть, это короткий ответ. Но джина обратно в бутылку не загнать. Технологии тоже будут только улучшаться (и быстро). Как именно мы можем признать и контролировать роль ChatGPT в исследованиях — это большой вопрос для другого дня. Но наши результаты также полезны в этом отношении — обнаружив, что исследовательская версия ChatGPT с опытом исследователя лучше, мы показываем, что вклад исследователей-людей по-прежнему важен для приемлемого исследования.
На данный момент мы считаем, что исследователи должны рассматривать ChatGPT как помощника, а не как угрозу. В частности, это может быть помощником для групп исследователей, которым, как правило, не хватает финансовых ресурсов для традиционной (человеческой) помощи в исследованиях: исследователей развивающихся экономик, аспирантов и начинающих исследователей. Вполне возможно, что ChatGPT (и подобные программы) могли бы помочь демократизировать исследовательский процесс.
Но исследователи должны знать о запрете на его использование при подготовке журнальных статей. Понятно, что существуют совершенно разные взгляды на эту технологию, поэтому ее нужно использовать с осторожностью.
