Модели большого языка (LLM) представляют прямую угрозу науке из-за так называемых «галлюцинаций» (неправдивых ответов), и их следует ограничить, чтобы защитить научную истину, говорится в новой статье ведущих исследователей искусственного интеллекта из Оксфордского института Интернета.

Статья профессоров Брента Миттельштадта, Криса Рассела и Сандры Вахтер была опубликована в журнале Nature Human Behavior. В нем поясняется: «LLM созданы для того, чтобы давать полезные и убедительные ответы без каких-либо первоочередных гарантий относительно их точности или соответствия фактам».

Одной из причин этого является то, что данные, которые технология использует для ответа на вопросы, не всегда поступают из достоверного источника. LLM обучаются на больших наборах текстовых данных, обычно взятых из онлайн-источников. Они могут содержать ложные заявления , мнения и творческие тексты, а также другие виды нефактической информации.

Профессор Миттельштадт объясняет: «Люди, использующие LLM, часто антропоморфизируют технологию, доверяя ей как человеческому источнику информации. Частично это связано с тем, что LLM задуманы как полезные, похожие на человека агенты, которые общаются с пользователями и отвечают казалось бы, любой вопрос с уверенно звучащим, хорошо написанным текстом. В результате пользователи могут легко убедиться в том, что ответы точны, даже если они не имеют под собой фактической основы или представляют предвзятую или частичную версию истины».

Авторы утверждают, что для защиты науки и образования от распространения недостоверной и предвзятой информации необходимо установить четкие ожидания относительно того, какой вклад LLM могут внести ответственно и полезно. Согласно документу: «Для задач, где правда имеет значение, мы рекомендуем пользователям писать подсказки для перевода, включающие проверенную фактическую информацию».

Профессор Вахтер говорит: «То, как используются LLM, имеет значение. В научном сообществе очень важно, чтобы мы были уверены в фактической информации, поэтому важно использовать LLM ответственно. Если LLM используются для создания и распространения научных статей , это может привести к серьезному вреду».

Профессор Рассел добавляет: «Важно сделать шаг назад от возможностей, которые предлагают программы магистратуры, и подумать, хотим ли мы предоставить эти возможности технологии только потому, что мы можем».

LLM в настоящее время рассматриваются как базы знаний и используются для генерации информации в ответ на вопросы. Это делает пользователя уязвимым как для срыгивания ложной информации, которая присутствовала в обучающих данных, так и для «галлюцинаций» — ложной информации, спонтанно генерируемой LLM, которая не присутствовала в обучающих данных.

Чтобы преодолеть эту проблему, утверждают авторы, LLM следует использовать в качестве «переводчиков с нулевым выстрелом». Вместо того, чтобы полагаться на LLM как на источник соответствующей информации, пользователь должен просто предоставить LLM соответствующую информацию и попросить его преобразовать ее в желаемый результат. Например, переписывание пунктов списка в качестве заключения или создание кода для преобразования научных данных в график.

Использование LLM таким образом упрощает проверку того, что выходные данные фактически верны и соответствуют предоставленным входным данным.

Авторы признают, что эта технология, несомненно, поможет в научных рабочих процессах, но ясно понимают, что изучение ее результатов является ключом к защите надежной науки.

«Чтобы защитить науку, мы должны использовать LLM в качестве переводчиков с нулевым выстрелом», — ведущий автор, директор по исследованиям, доцент и старший научный сотрудник, доктор Брент Миттельштадт, Оксфордский интернет-институт.