Выделяет два типа атак с зараженным набором данных, которые могут быть повлиять на ИИ

Прочитано: 413 раз(а)


Группа исследователей в области компьютерных наук, в которую входят представители Google, ETH Zurich, NVIDIA и Robust Intelligence, выделяет два типа атак с зараженными наборов данных, которые могут быть использованы злоумышленниками для искажения результатов работы системы ИИ. Группа написала документ с описанием видов атак, которые они выявили, и разместила его на сервере препринтов arXiv.

С развитием нейронных сетей глубокого обучения приложения искусственного интеллекта стали большой новостью. А благодаря своим уникальным способностям к обучению их можно применять в самых разных условиях. Но, как отмечают исследователи в этой новой попытке, у них всех есть одна общая черта — потребность в качественных данных для использования в учебных целях.

Поскольку такие системы учатся на том, что они видят, если они сталкиваются с чем-то неправильным, у них нет возможности узнать об этом и, таким образом, включить это в свой набор правил. В качестве примера рассмотрим систему ИИ, обученную распознавать на маммограмме узоры как раковые опухоли. Такие системы будут обучаться, показывая им множество примеров реальных опухолей, собранных во время маммографии.

Но что произойдет, если кто-то вставит в набор данных изображения раковых опухолей , но они помечены как нераковые? Очень скоро система начнет пропускать эти опухоли, потому что ее научили считать их нераковыми. В этой новой работе исследовательская группа показала, что нечто подобное может произойти с системами ИИ, которые обучаются с использованием общедоступных данных в Интернете.

Исследователи начали с того, что отметили, что право собственности на URL-адреса в Интернете часто истекает, включая те, которые использовались в качестве источников системами ИИ. Это оставляет их доступными для покупки гнусными типами, стремящимися разрушить системы ИИ. Если такие URL-адреса приобретаются, а затем используются для создания веб-сайтов с ложной информацией , система ИИ добавит эту информацию в свой банк знаний так же легко, как и достоверную информацию, и это приведет к тому, что система ИИ даст менее желаемые результаты.

Исследовательская группа называет этот тип атаки зараженным с разделенным обзором. Тестирование показало, что такой подход можно использовать для покупки достаточного количества URL-адресов, чтобы заразить большую часть основных систем искусственного интеллекта, всего за 10 000 долларов.

Есть еще один способ подорвать системы ИИ — путем манипулирования данными в хорошо известных хранилищах данных, таких как Википедия. Исследователи отмечают, что это можно сделать, изменив данные непосредственно перед регулярным сбросом данных, не позволяя мониторам обнаруживать изменения до того, как они будут отправлены и использованы системами ИИ. Они называют этот подход опережающим заражение.

Киберполиция: Обновление CCleaner заражено вирусом



Новости партнеров