Согласно новому исследованию, проведенному под руководством Технического университета Дармштадта, модели искусственного интеллекта, такие как ChatGPT, по-видимому, менее способны к самостоятельному обучению, чем предполагалось ранее.

Согласно исследованию, нет никаких доказательств того, что так называемые большие языковые модели (LLM) начинают развивать общее «интеллектуальное» поведение, которое позволило бы им действовать планомерно или интуитивно или мыслить комплексно.

Исследование, опубликованное на сервере препринтов arXiv , будет представлено в августе на ежегодной конференции Ассоциации компьютерной лингвистики (ACL) в Бангкоке, крупнейшей международной конференции по автоматической обработке языка.

Исследование фокусируется на непредвиденных и внезапных скачках в производительности языковых моделей, которые называются «возникающими способностями». После того, как модели были представлены, ученые обнаружили, что они становились более мощными с увеличением размера и растущим объемом данных, на которых они обучались (масштабирование) .

По мере масштабирования инструментов они смогли решать большее количество языковых задач, например, распознавать фейковые новости или делать логические выводы.

С одной стороны, это породило надежды на то, что дальнейшее масштабирование сделает модели еще лучше. С другой стороны, также существовали опасения, что эти способности могут стать опасными, поскольку LLM могут стать независимыми и, возможно, выйти из-под контроля человека. В ответ на это во всем мире были введены законы об ИИ, в том числе в Европейском союзе и США.

Однако авторы текущего исследования пришли к выводу, что нет никаких доказательств предполагаемого развития дифференцированного мышления в моделях. Вместо этого LLM приобрели поверхностный навык следования относительно простым инструкциям, как показали исследователи. Системы все еще далеки от того, на что способны люди.

Исследование проводилось под руководством профессора компьютерных наук Технического университета Ирины Гуревич и ее коллеги доктора Хариша Тайяра Мадабуши из Университета Бата в Великобритании.

«Однако наши результаты не означают, что ИИ вообще не представляет угрозы», — сказал Гуревич.

«Вместо этого мы показываем, что предполагаемое возникновение сложных навыков мышления, связанных с конкретными угрозами, не подтверждается доказательствами и что мы можем очень хорошо контролировать процесс обучения LLM. Поэтому будущие исследования должны быть сосредоточены на других рисках, создаваемых моделями, таких как их потенциальная возможность использования для создания фейковых новостей».

И что означают результаты для пользователей систем ИИ, таких как ChatGPT? «Вероятно, было бы ошибкой полагаться на модель ИИ для интерпретации и выполнения сложных задач без посторонней помощи», — объясняет Гуревич, возглавляющий лабораторию Ubiquitous Knowledge Processing (UKP) на кафедре компьютерных наук Технического университета Дармштадта.

«Вместо этого пользователи должны четко указывать, что должны делать системы, и, если возможно, приводить примеры. Важно то, что тенденция этих моделей выдавать правдоподобно звучащие, но ложные результаты — известная как конфабуляция — скорее всего, сохранится, даже если качество моделей значительно улучшилось в последнее время».