Спам, сгенерированный искусственным интеллектом, скоро может наводнить ваш почтовый ящик, и он будет персонализирован, чтобы быть особенно убедительным.
Каждый день сообщения от нигерийских принцев, торговцев чудо-лекарствами и промоутеров инвестиций, которые нельзя пропустить, засоряют почтовые ящики. Улучшения в спам-фильтрах, кажется, только вдохновляют на новые методы прорыва защиты.
Теперь гонка вооружений между блокировщиками и отправителями спама обострится с появлением нового оружия: генеративного искусственного интеллекта. Благодаря недавним достижениям в области искусственного интеллекта, прославленным ChatGPT , у спамеров могут появиться новые инструменты для обхода фильтров, привлечения внимания людей и убеждения их щелкнуть, купить или передать личную информацию.
Как директор лаборатории развития человеческого и машинного мышления в Университете Южной Флориды, я исследую пересечение искусственного интеллекта, обработки естественного языка и человеческого мышления. Я изучал, как ИИ может изучать индивидуальные предпочтения, убеждения и особенности личности людей.
Это можно использовать, чтобы лучше понять, как взаимодействовать с людьми, помочь им учиться или дать им полезные советы. Но это также означает, что вам следует готовиться к более умному спаму, который знает ваши слабые места и может использовать их против вас.
Спам, спам, спам
Итак, что такое спам?
Спам определяется как нежелательные коммерческие электронные письма , отправленные неизвестным лицом . Этот термин иногда распространяется на текстовые сообщения, прямые сообщения в социальных сетях и поддельные обзоры продуктов . Спамеры хотят подтолкнуть вас к действию: купить что-то, перейти по фишинговым ссылкам, установить вредоносное ПО или изменить представление.
Спам приносит прибыль. Одна рассылка электронной почты может принести 1000 долларов США всего за несколько часов , что обходится спамерам всего в несколько долларов, не считая первоначальной настройки. Кампания фармацевтического спама в Интернете может приносить около 7000 долларов в день .
Законные рекламодатели также хотят подтолкнуть вас к действию — покупке их продуктов, участию в опросах, подписке на информационные бюллетени, — но в то время как электронное письмо от маркетолога может содержать ссылку на официальный веб-сайт компании и содержать возможность отказа от подписки в соответствии с федеральными нормами, электронное письмо со спамом может нет.
Спамеры также не имеют доступа к спискам рассылки, на которые подписаны пользователи. Вместо этого спамеры используют контринтуитивные стратегии, такие как афера с «нигерийским принцем», в которой нигерийский принц утверждает, что нуждается в вашей помощи, чтобы разблокировать абсурдную сумму денег, обещая хорошо вознаградить вас. Сообразительные цифровые аборигены сразу же отклоняют такие просьбы, но абсурдность запроса может фактически выбрать наивность или преклонный возраст , отфильтровывая тех, кто с наибольшей вероятностью попадется на удочку.
Однако достижения в области искусственного интеллекта означают, что спамерам, возможно, не придется полагаться на такие подходы наугад. ИИ может позволить им нацеливаться на отдельных людей и делать их сообщения более убедительными на основе легкодоступной информации, такой как сообщения в социальных сетях.
Будущее спама
Скорее всего, вы слышали о достижениях в генеративных больших языковых моделях, таких как ChatGPT . Задача, которую выполняют эти генеративные LLM, обманчиво проста: по заданной текстовой последовательности предсказать, какая лексема — считайте это частью слова — будет следующей. Затем предскажите, какой токен будет после этого. И так далее, снова и снова.
Каким-то образом обучение только этой задаче, проведенное с достаточным количеством текста на достаточно большом LLM, кажется достаточным, чтобы наделить эти модели способностью удивительно хорошо выполнять множество других задач .
Уже появилось несколько способов использования технологии, демонстрирующих способность технологии быстро адаптироваться к людям и узнавать о них. Например, LLM могут писать полные электронные письма в вашем стиле письма , учитывая только несколько примеров того, как вы пишете. И вот классический пример, которому уже более десяти лет, когда Target выяснила, что покупательница беременна, прежде чем она это сделала .
Как спамеры, так и маркетологи выиграют, если смогут предсказать больше о людях с меньшим объемом данных. Учитывая вашу страницу в LinkedIn, несколько постов и пару изображений профиля, спамеры, вооруженные LLM, могут сделать достаточно точные предположения о ваших политических пристрастиях, семейном положении или жизненных приоритетах.
Наше исследование показало, что LLM можно использовать для предсказания того, какое слово человек скажет следующим, с точностью, намного превосходящей другие подходы ИИ , в задаче генерации слов, называемой задачей семантической беглости . Мы также показали, что LLM могут брать определенные типы вопросов из тестов на способность рассуждать и предсказывать, как люди ответят на этот вопрос . Это говорит о том, что LLM уже имеют некоторые знания о том, как выглядят типичные человеческие способности к рассуждению.
Если спамеры преодолеют первоначальные фильтры и заставят вас прочитать электронное письмо, перейти по ссылке или даже вступить в беседу, их способность применять индивидуальное убеждение резко возрастет . Здесь снова LLM могут изменить игру. Первые результаты показывают, что LLM можно использовать для убедительных аргументов по различным темам, от политики до политики в области общественного здравоохранения.
Однако ИИ не поддерживает ни ту, ни другую сторону. Спам-фильтры также должны извлечь выгоду из достижений в области искусственного интеллекта, что позволит им возводить новые барьеры для нежелательных электронных писем.
Спамеры часто пытаются обмануть фильтры с помощью специальных символов, слов с ошибками или скрытого текста , полагаясь на человеческую склонность прощать небольшие текстовые аномалии, например, «c1îck here n0w». Но по мере того, как ИИ будет лучше понимать спам-сообщения, фильтры смогут лучше выявлять и блокировать нежелательный спам и, возможно, даже пропускать нежелательный спам , такой как маркетинговые электронные письма, на которые вы явно подписались. Представьте себе фильтр, который предсказывает, хотите ли вы прочитать электронное письмо, еще до того, как вы его прочтете.
Несмотря на растущую озабоченность по поводу ИИ, о чем свидетельствуют генеральный директор Tesla, SpaceX и Twitter Илон Маск, основатель Apple Стив Возняк и другие лидеры в области технологий, призывающие к паузе в развитии ИИ, достижения в области технологий могут принести много пользы. ИИ может помочь нам понять, как слабости человеческого мышления могут быть использованы злоумышленниками, и придумать способы противодействия злонамеренным действиям.
Все новые технологии могут привести как к удивлению, так и к опасности. Разница заключается в том, кто создает и контролирует инструменты и как они используются.
