Сомнительная ссылка от друга. Заголовок, слишком сенсационный, чтобы быть правдой. Видео, которое кажется поддельным, но в котором нельзя быть уверенным. Поскольку дезинформацию в интернете становится все труднее обнаружить, новые инструменты искусственного интеллекта обещают помочь нам отделить факты от вымысла. Но работают ли они на самом деле?

На самом деле нет, считает Дорсаф Саллами. В рамках своей докторской диссертации на кафедре компьютерных наук и исследования операций Монреальского университета она изучала ограничения систем искусственного интеллекта, предназначенных для выявления фейковых новостей.

Ее вывод: у этих инструментов есть существенные недостатки, которые зачастую маскируются их техническими характеристиками.

Она подробно изложила свои выводы в статье, опубликованной прошлой осенью в сборнике трудов международной конференции по искусственному интеллекту, этике и обществу, в соавторстве со своим научным руководителем Эсмой Аймер и профессором Жилем Брассаром.

Зеркало, а не средство проверки фактов

«Современные системы искусственного интеллекта для обнаружения фейковых новостей основаны на фундаментальном заблуждении, — сказал Саллами. — Когда ИИ помечает контент как ложный, он не проверяет факты так, как это сделал бы журналист. Он вычисляет вероятности на основе своих обучающих данных».

Иными словами, эти системы не проверяют факты на соответствие реальности. Они лишь отражают то, что им показали, подобно зеркалу, со всеми вытекающими отсюда искажениями и пробелами в обучающих данных.

Саллами считает парадоксальным, что технологические гиганты вкладывают ресурсы в эти инструменты. Запрещенная организация помечает контент, который проходит проверку существующих фактчекеров, Google запустил прототип на основе Gemini, а X использует Grok для анализа информации на своей платформе в режиме реального времени.

«Арсенал впечатляет, но какой смысл в системе, которая хвастается 95-процентной точностью в лаборатории, но терпит неудачу в реальных условиях, особенно если она нарушает конфиденциальность пользователей, предвзята по отношению к некоторым СМИ и может быть использована для цензуры политической оппозиции?» — спросил Саллами.

Эффективность обычно измеряется по техническим показателям в контролируемых условиях. Это немного похоже на оценку автомобиля по его максимальной скорости, без учета безопасности, доступности или выбросов, сказала она.

Кто решает, что является истиной?

Саллами указывает на еще одну важную проблему: отсутствие консенсуса относительно того, что constitutes дезинформацию.

«Чтобы научить систему отличать факты от вымысла, нужно дать ей на вход тысячи примеров, помеченных как истинные или ложные», — объяснила она. «Для простых задач, таких как различение кошки и собаки, эти метки не вызывают споров. Но когда дело доходит до фейковых новостей, даже эксперты расходятся во мнениях».

Саллами называет это « проблемой истинности».

«Системы искусственного интеллекта обучаются с использованием меток, предоставленных организациями, занимающимися проверкой фактов, но их методы часто не отличаются прозрачностью», — сказала она. «Некоторые из них являются коммерческими предприятиями, что делает процесс еще более непрозрачным. Технологическая система построена на фундаменте, который шатче, чем кажется».

Развитие технологий больших языковых моделей — лежащих в основе ChatGPT и Gemini — также помогает создателям фейковых новостей легче, чем когда-либо прежде, имитировать достоверные источники. В результате системы, обученные стратегиям распространения дезинформации всего несколько месяцев назад, могут оказаться неспособными распознавать новейшие уловки.

Встроенная предвзятость

По словам Саллами, еще одним серьезным недостатком являются предвзятые представления, заложенные в системах обнаружения фейковых новостей с использованием искусственного интеллекта.

Она обнаружила, что, когда в текстах появляется гендерная лексика , некоторые модели чаще рассматривают женщин как распространительниц дезинформации. Другие же проявляют предвзятость по отношению к незападным источникам или воспроизводят политические и географические предубеждения.

Саллами считает эти предрассудки особенно пагубными, поскольку они остаются практически незамеченными.

«В то время как отрасль сосредоточена на повышении точности, лишь немногие исследователи изучают дискриминацию, которую могут порождать эти системы», — сказала она. «Равенство не должно быть второстепенным вопросом, второстепенным по отношению к производительности; оно должно быть неотъемлемой частью производительности».

В своей диссертации она предлагает конкретные методы измерения и коррекции предвзятости, включая CoALFake — разработанную ею систему, которая помогает детектору, обученному в одной области, адаптироваться к новым областям — таким как научная или коммерческая дезинформация — вместо того, чтобы начинать с нуля.

Для решения всех этих проблем Саллами выступает за социально ответственную систему оценки.

«Вместо того чтобы оценивать системы исключительно по точности, мы должны также учитывать справедливость, прозрачность, конфиденциальность и реальную полезность для граждан», — сказала она.

Она также выступает за то, чтобы отзывы пользователей имели больший вес, за сотрудничество с журналистами, социологами и юристами, а также за отказ от ложной дихотомии между точностью и социальной ответственностью.

Алетея: новый инструмент

В другой статье, основанной на ее докторской диссертации, Саллами отметила, что исследования были сосредоточены на разработке моделей обнаружения с использованием искусственного интеллекта, многие из которых предназначены для людей с техническими знаниями.

Хотя эти модели необходимы, их недостаточно, утверждает она: нам также нужны инструменты, доступные конечным пользователям.

Саллами не ограничилась лишь указанием на проблему; она решила ее решить, разработав Aletheia — расширение для браузера, позволяющее пользователям самостоятельно проверять онлайн-контент.

С помощью нескольких кликов пользователи могут проверить достоверность новостного сообщения, ознакомиться с проверками фактов от авторитетных организаций и обсудить информацию с другими пользователями.

По словам Саллами, отличительной чертой Aletheia является её философия: вместо того, чтобы просто помечать контент как «истинный» или «ложный», она объясняет, почему, приводит доказательства из доступных онлайн-источников и позволяет пользователям судить самостоятельно, а не слепо доверять лежащей в основе модели.

«Расширение состоит из трех модулей, — пояснил Саллами. — VerifyIt, ядро ​​системы, автоматически проверяет внешние источники и выносит заключение, сопровождаемое пояснениями на простом языке. Пользователи могут увидеть причины, по которым тот или иной элемент может вызывать подозрение, и источники, на которых основана система».

В ходе тестирования с использованием утверждений, проверенных PolitiFact, американской некоммерческой организацией, управляемой Институтом Пойнтера, VerifyIt показал надежность около 85%, превзойдя многие существующие инструменты.

Aletheia также предлагает ленту последних проверок фактов в режиме реального времени и форум, где пользователи могут делиться своими анализами и комментировать работы других.

«То, что мы здесь представили, — лишь верхушка айсберга», — заключил Саллами. «Искусственный интеллект должен заслужить общественное доверие, а не просто безупречно проходить технические тесты. В будущем следует противостоять соблазну полностью автоматизированной проверки фактов и вместо этого разрабатывать системы, которые работают вместе с человеческим суждением и для него».