Группа специалистов по информатике из Калифорнийского университета в Риверсайде разработала метод удаления личных и защищенных авторским правом данных из моделей искусственного интеллекта — без необходимости доступа к исходным обучающим данным.

Это достижение, подробно изложенное в докладе, представленном в июле на Международной конференции по машинному обучению в Ванкувере (Канада), отвечает на растущую глобальную обеспокоенность по поводу того, что личные и защищенные авторским правом материалы остаются в моделях ИИ на неопределенный срок и, таким образом, доступны пользователям моделей, несмотря на попытки первоначальных создателей удалить или защитить свою информацию с помощью платного доступа и паролей.

Исследование также было опубликовано на сервере препринтов arXiv .

Инновация UCR заставляет модели ИИ «забывать» выбранную информацию, сохраняя при этом функциональность моделей с оставшимися данными. Это значительное достижение, позволяющее вносить изменения в модели без необходимости их пересоздания на основе объёмных исходных данных для обучения, что требует больших затрат и энергии. Этот подход также позволяет удалять конфиденциальную информацию из моделей ИИ, даже если исходные данные для обучения больше не доступны.

«В реальных ситуациях не всегда можно вернуться и получить исходные данные», — сказал Юмит Йигит Башаран, докторант кафедры электротехники и вычислительной техники Калифорнийского университета в Риверсайде и ведущий автор исследования. «Мы создали сертифицированную систему, которая работает даже тогда, когда эти данные больше не доступны».

Необходимость насущна. Технологические компании сталкиваются с новыми законами о конфиденциальности, такими как Общий регламент Европейского союза по защите данных и Закон штата Калифорния о защите конфиденциальности потребителей, которые регулируют безопасность персональных данных, встроенных в крупномасштабные системы машинного обучения.

Более того, The New York Times подает в суд на OpenAI и Microsoft за использование многочисленных статей компании, защищенных авторским правом, для обучения моделей Generative Pre-trained Transformer (GPT).

Модели искусственного интеллекта «изучают» закономерности слов, используя огромные объёмы текста, собранного из интернета. При запросе модели предсказывают наиболее вероятные словосочетания, генерируя ответы на естественном языке в ответ на запросы пользователя. Иногда они генерируют практически дословные копии обучающих текстов, что позволяет пользователям обходить платный доступ создателей контента.

Исследовательская группа Калифорнийского университета в Риверсайде, в состав которой входят Башаран, профессор Амит Рой-Чоудхури и доцент Башак Гюлер, разработала так называемый «метод сертифицированного отучения без использования исходного кода». Этот метод позволяет разработчикам ИИ удалять целевые данные, используя замещающий, или «суррогатный», набор данных, статистически схожий с исходными данными.

Система корректирует параметры модели и добавляет тщательно откалиброванный случайный шум, чтобы гарантировать, что целевая информация будет стерта и не сможет быть восстановлена.

Их фреймворк основан на концепции оптимизации ИИ, которая эффективно аппроксимирует то, как изменилась бы модель после переобучения с нуля. Команда Калифорнийского университета в Риверсайде усовершенствовала этот подход, добавив новый механизм калибровки шума, который компенсирует расхождения между исходными и суррогатными наборами данных.

Исследователи проверили свой метод, используя как синтетические, так и реальные наборы данных, и обнаружили, что он обеспечивает гарантии конфиденциальности, близкие к тем, которые достигаются при полном переобучении, но при этом требует гораздо меньше вычислительной мощности.

Текущая работа применима к более простым моделям, которые по-прежнему широко используются, но в конечном итоге может быть масштабирована до сложных систем, таких как ChatGPT, сказал Рой-Чоудхури, содиректор Института исследований и образования в области искусственного интеллекта Риверсайд (RAISE) Калифорнийского университета в Риверсайде и профессор Инженерного колледжа Марлана и Розмари Борнс.

Исследователи заявили, что помимо обеспечения соответствия нормативным требованиям, эта технология перспективна для медиаорганизаций , медицинских учреждений и других организаций, работающих с конфиденциальными данными, встроенными в модели ИИ. Она также может позволить людям требовать удаления личного или защищенного авторским правом контента из систем ИИ.

«Люди заслуживают знать, что их данные могут быть стерты из моделей машинного обучения — не только в теории, но и доказуемыми практическими способами», — сказал Гюлер.

Дальнейшие шаги команды включают совершенствование метода для работы с более сложными типами моделей и наборами данных, а также создание инструментов, которые сделают технологию доступной для разработчиков ИИ по всему миру.

Название статьи — «Сертифицированный подход к отучению без доступа к исходным данным». Она была подготовлена ​​в сотрудничестве со Ском Мираджем Ахмедом, научным сотрудником в области вычислительной науки из Брукхейвенской национальной лаборатории в Аптоне, штат Нью-Йорк, получившим докторскую степень в Калифорнийском университете в Риверсайде.