Представьте себе это. Вам нужно изображение воздушного шара для презентации работы и обратитесь к генератору текста в изображение, например Midjourney или DALL-E, чтобы создать подходящее изображение.
Вы вводите подсказку: «Красный шар на фоне голубого неба». но генератор вместо этого возвращает изображение яйца. Вы пытаетесь еще раз, но на этот раз генератор показывает изображение арбуза.
Что происходит?
Генератор, который вы используете, возможно, был «отравлен».
Что такое «отравление данных»?
Генераторы преобразования текста в изображение работают путем обучения на больших наборах данных, которые включают миллионы или миллиарды изображений. Некоторые генераторы, например, предлагаемые Adobe или Getty, обучаются только на изображениях, которыми владеет изготовитель генератора или имеет лицензию на использование.
Но другие генераторы обучены без разбора собирать онлайн-изображения, многие из которых могут быть защищены авторским правом. Это привело к множеству дел о нарушении авторских прав, когда художники обвиняли крупные технологические компании в краже их работ и получении прибыли от их работ.
Здесь также возникла идея «яда»; Исследователи, которые хотят расширить возможности отдельных художников, недавно создали инструмент под названием «Nightshade» для борьбы с несанкционированным сбором изображений.
Инструмент работает путем тонкого изменения пикселей изображения таким образом, что это наносит ущерб компьютерному зрению, но оставляет изображение неизменным для глаз человека.
Если организация затем сканирует одно из этих изображений для обучения будущей модели ИИ, ее пул данных становится «отравленным». Это может привести к тому, что алгоритм ошибочно научится классифицировать изображение как нечто, что человек визуально может определить как ложное. В результате генератор может начать возвращать непредсказуемые и непредвиденные результаты.
Симптомы отравления
Как и в нашем предыдущем примере, воздушный шар может стать яйцом. Запрос изображения в стиле Моне может вместо этого вернуть изображение в стиле Пикассо.
Некоторые проблемы с более ранними моделями ИИ, такие как, например, проблемы с точным рендерингом рук, могут вернуться. Модели также могут привносить в изображения другие странные и нелогичные особенности — например, шестиногих собак или деформированных диванов.
Чем выше число «отравленных»; изображений в обучающих данных, тем больше нарушение. Из-за того, как работает генеративный ИИ, ущерб от «отравления»; изображения также влияют на соответствующие ключевые слова.
Например, если «отравленный»; изображение Ferrari используется в обучающих данных, это также может повлиять на быстрые результаты для других марок автомобилей и других связанных терминов, таких как транспортное средство и автомобиль. .
Разработчик Nightshade надеется, что этот инструмент заставит крупные технологические компании более уважительно относиться к авторским правам, но также возможно, что пользователи могут злоупотреблять этим инструментом и намеренно загружать «отравленные» файлы. изображения генераторам, чтобы попытаться нарушить их работу.
Есть ли противоядие?
В ответ заинтересованные стороны предложили ряд технологических и человеческих решений. Наиболее очевидным является уделение большего внимания тому, откуда поступают входные данные и как их можно использовать. Это приведет к менее неизбирательному сбору данных.
Этот подход действительно бросает вызов распространенному среди ученых-компьютерщиков убеждению, что данные, найденные в Интернете, могут быть использованы для любых целей, которые они считают подходящими.
Другие технологические исправления также включают использование «ансамблевого моделирования» где разные модели обучаются на множестве разных подмножеств данных и сравниваются для обнаружения конкретных выбросов. Этот подход можно использовать не только для обучения, но также для обнаружения и исключения подозреваемых «отравленных» людей. изображения.
Аудит – еще один вариант. Один из подходов к аудиту включает разработку «батареи тестов» — небольшого, тщательно подобранного и хорошо маркированного набора данных — с использованием «отложенных» тестов. данные, которые никогда не используются для обучения. Этот набор данных затем можно использовать для проверки точности модели.
Стратегии против технологий
Так называемые «состязательные подходы»; (те, которые ухудшают, отрицают, обманывают или манипулируют системами ИИ), включая отравление данных, не являются чем-то новым. Исторически они также использовали грим и костюмы для обхода систем распознавания лиц.
Например, правозащитники уже некоторое время обеспокоены неизбирательным использованием машинного зрения в обществе в целом. Эта проблема особенно остро стоит в отношении распознавания лиц.
Такие системы, как Clearview AI, в которой размещена огромная база данных лиц с возможностью поиска, взятых из Интернета, используются правоохранительными органами и .нарушил конфиденциальность австралийцев по всему миру. В 2021 году правительство Австралии установило, что Clearview AI правительственные учреждения
В ответ на то, что системы распознавания лиц используются для профилирования конкретных людей, в том числе законных протестующих, художники разработали противоречивые модели макияжа из неровных линий. и асимметричные кривые, которые не позволяют системам наблюдения точно их идентифицировать.
Существует четкая связь между этими случаями и проблемой отравления данных, поскольку оба они связаны с более широкими вопросами технологического управления.
Многие поставщики технологий сочтут отравление данных неприятной проблемой, которую можно решить с помощью технологических решений. Однако, возможно, лучше рассматривать отравление данных как инновационное решение проблемы посягательства на фундаментальные моральные права художников и пользователей.
