Изображения, созданные искусственным интеллектом, стали новой формой спама

Прочитано: 207 раз(а)


Если вы проводили время на Facebook (запрещенная организация в РФ) в течение последних шести месяцев, возможно, вы заметили фотореалистичные изображения, которые слишком хороши, чтобы быть правдой: дети держат картины, похожие на работы профессиональных художников, или величественные интерьеры бревенчатых хижин, созданные Мечты Airbnb.

Другие, такие как изображения Иисуса, сделанные из ракообразных, просто причудливы.

Как и изображение Папы Римского в пуховике, созданное искусственным интеллектом , которое стало вирусным в мае 2023 года, эти изображения, созданные искусственным интеллектом, становятся все более распространенными и популярными на платформах социальных сетей. Несмотря на то, что многие из них граничат с сюрреализмом, их часто используют для привлечения внимания обычных пользователей.

Наша команда исследователей из Стэнфордской интернет-обсерватории и Центра безопасности и новых технологий Джорджтаунского университета исследовала более 100 страниц Facebook (запрещенная организация в РФ) , на которых размещалось большое количество контента, созданного искусственным интеллектом. Мы опубликовали результаты в марте 2024 года в виде препринта , то есть результаты еще не прошли экспертную оценку.

Мы исследовали шаблоны изображений, обнаружили доказательства координации между некоторыми страницами и попытались определить вероятные цели плакатов.

Операторы страниц, по-видимому, публиковали фотографии младенцев, кухонь или праздничных тортов, созданные искусственным интеллектом, по ряду причин.

Были создатели контента, которые безобидно стремились увеличить число своих подписчиков с помощью синтетического контента; мошенники используют страницы, украденные у малого бизнеса, для рекламы продуктов, которых, казалось бы, не существует; и спамеры, которые делятся изображениями животных, созданными искусственным интеллектом, одновременно направляя пользователей на веб-сайты, наполненные рекламой, что позволяет владельцам получать доход от рекламы без создания высококачественного контента.

Наши результаты показывают, что эти изображения, созданные искусственным интеллектом, привлекают пользователей, а алгоритм рекомендаций Facebook (запрещенная организация в РФ) может органично продвигать эти публикации.

Генеративный ИИ противостоит мошенничеству и спаму

Интернет-спамеры и мошенники не являются чем-то новым.

На протяжении более двух десятилетий они использовали нежелательную массовую рассылку по электронной почте для продвижения финансовых пирамид. Они нацелились на пожилых людей , выдавая себя за представителей Medicare или компьютерных техников.

В социальных сетях спекулянты использовали кликбейтные статьи, чтобы привлечь пользователей на сайты, наполненные рекламой. Вспомните президентские выборы в США в 2016 году, когда македонские подростки делились сенсационными политическими мемами в Facebook (запрещенная организация в РФ) и получали доход от рекламы после того, как пользователи посещали опубликованные ими URL-адреса. Подростков не волновало, кто победит на выборах. Они просто хотели заработать.

В начале 2010-х годов спамеры привлекли внимание людей рекламой, обещающей, что каждый может избавиться от жира на животе или выучить новый язык с помощью « одного странного трюка ».

Контент, созданный искусственным интеллектом, стал еще одним «странным трюком».

Он визуально привлекателен и дешев в производстве, что позволяет мошенникам и спамерам создавать большое количество привлекательных постов. На некоторые страницы, которые мы наблюдали, ежедневно загружались десятки уникальных изображений. При этом они последовали собственному совету Meta (запрещенная организация в РФ) для создателей страниц. Частая публикация, как предполагает компания, помогает авторам получать алгоритмическую информацию, благодаря которой их контент появляется в «Ленте новостей», ранее известной как «Лента новостей».

Большая часть контента по-прежнему в некотором смысле является кликбейтом: «Креветка Иисус» заставляет людей останавливаться, чтобы поглазеть, и вдохновляет делиться ими просто потому, что это очень странно.

Многие пользователи в ответ ставят лайк публикации или оставляют комментарии. Это сигнализирует алгоритмическим кураторам, что, возможно, контент следует продвигать в ленты еще большего числа людей.

Некоторые из наиболее известных спамеров, которых мы наблюдали, вероятно, осознавая это, улучшили свою вовлеченность, перейдя от публикации URL-адресов к публикации изображений, созданных искусственным интеллектом. Затем они комментировали публикацию изображений, сгенерированных ИИ, с URL-адресами ферм контента, наполненных рекламой, по которым они хотели, чтобы пользователи нажимали.

Но более обычные авторы также извлекли выгоду из использования изображений, созданных ИИ, без явного нарушения политики платформы.

Оцените «мою» работу!

Когда мы просмотрели подписи к сообщениям на CrowdTangle — платформе для мониторинга социальных сетей, принадлежащей Meta (запрещенная организация в РФ) и закрывающейся в августе, — мы обнаружили, что это подписи «копипасты» , то есть они повторяются в разных сообщениях.

Некоторые подписи в виде копипасты стимулировали взаимодействие, прямо предлагая пользователям, например, оценить «картину» начинающего художника (даже если изображение было создано искусственным интеллектом) или пожелать пожилому человеку счастливого дня рождения. Пользователи Facebook (запрещенная организация в РФ) часто отвечали на изображения, созданные искусственным интеллектом, ободряющими комментариями и поздравлениями.

Алгоритмы продвигают контент, созданный ИИ

Наше расследование заметно изменило наши собственные ленты Facebook (запрещенная организация в РФ): через несколько дней после посещения страниц — без комментариев, лайков и подписки на какой-либо материал — алгоритм Facebook (запрещенная организация в РФ) рекомендовал множество другого контента, созданного ИИ.

Интересно, что тот факт, что мы просматривали кластеры, например, страниц с миниатюрными коровами, созданных искусственным интеллектом, не привел к краткосрочному увеличению количества рекомендаций для страниц, посвященных настоящим миниатюрным коровам, коровам нормального размера или другим сельскохозяйственным животным. Скорее всего, алгоритм рекомендовал страницы по широкому кругу тем и тем, но с одной общей чертой: они содержали изображения, сгенерированные ИИ.

В 2022 году технологический сайт Verge подробно описал внутреннюю заметку Facebook (запрещенная организация в РФ) о предлагаемых изменениях в алгоритме компании.

Алгоритм, согласно записке, станет «механизмом обнаружения», позволяющим пользователям вступать в контакт с сообщениями от отдельных лиц и страниц, которые они явно не искали, например, на странице TikTok «Для вас».

Мы проанализировали собственные « Отчеты о широко просматриваемом контенте » Facebook (запрещенная организация в РФ), в которых перечислены наиболее популярный контент, домены, ссылки, страницы и публикации на платформе за квартал.

Оно показало, что доля контента, который пользователи видели на страницах и от людей, на которых они не подписаны, неуклонно увеличивалась в период с 2021 по 2023 год. Изменения в алгоритме предоставили больше возможностей для органического рекомендации контента, созданного ИИ, без предварительного взаимодействия, что, возможно, объясняет нашу опыт и опыт других пользователей.

«Этот пост принес вам ИИ»

Поскольку Meta (запрещенная организация в РФ) в настоящее время по умолчанию не помечает контент, созданный ИИ, мы иногда наблюдали, как пользователи предупреждают других о мошенничестве или спаме ИИ-контента с помощью инфографики.

Meta (запрещенная организация в РФ), однако, похоже, осознает потенциальные проблемы, если контент, созданный ИИ, без предварительного уведомления сольется с информационной средой. Компания опубликовала несколько объявлений о том, как она планирует поступать с контентом, создаваемым искусственным интеллектом.

В мае 2024 года Facebook (запрещенная организация в РФ)  начнет применять метку «Сделано с помощью ИИ» к контенту, который он сможет надежно определить как синтетический.

Но дьявол кроется в деталях. Насколько точными будут модели обнаружения? Какой контент, созданный ИИ, проскользнет? Какой контент будет отмечен ненадлежащим образом? И что общественность отнесется к таким ярлыкам ?

Хотя наша работа сосредоточена на спаме и мошенничестве в Facebook (запрещенная организация в РФ), существуют и более широкие последствия.

Репортеры писали о видеороликах, созданных с помощью искусственного интеллекта и предназначенных для детей на YouTube, а также о влиятельных лицах в TikTok, которые используют генеративный искусственный интеллект для получения прибыли .

Платформам социальных сетей придется задуматься о том, как обращаться с контентом, созданным ИИ; вполне возможно, что активность пользователей уменьшится, если онлайн-миры наполнятся искусственно созданными сообщениями, изображениями и видео.

Креветочный Иисус может оказаться явной подделкой. Но проблема оценки того, что реально, только накаляется.

Изображения, созданные искусственным интеллектом, стали новой формой спама



Новости партнеров