Обеспечение безопасности ИИ: что OWASP LLM Top 10 понимает правильно, а что упускает из виду

Достаточно ли OWASP LLM Top 10 предлагает для устранения новых рисков безопасности для систем ИИ? Вот что он охватывает — и чего не охватывает.

Обеспечение безопасности систем ИИ является насущной проблемой для CIO и CISO из-за все более важной роли ИИ и LLM в бизнесе. Таким образом, они инстинктивно обращаются за руководством к Open Web Application Security Project (OWASP).

OWASP известен своим списком 10 самых уязвимых мест в безопасности веб-приложений. За последние годы организация расширила свою сферу деятельности и в настоящее время публикует целый ряд списков ‘Top 10’ по различным темам безопасности, включая список для больших языковых моделей (LLM). Но что охватывает этот список? Является ли руководство по угрозам исчерпывающим?

Прежде чем углубляться в список OWASP LLM Top 10, смена точки зрения может стать откровением для специалистов по безопасности. Предположим, вы киберпреступник: зачем вам атаковать LLM?

Мышление атакующего

Вредоносный взлом — это не академическое занятие. Это бизнес. Киберпреступники атакуют не то, что теоретически возможно, а то, что обещает быструю финансовую отдачу. Так в чем же заключается бизнес-обоснование манипулирования моделями ИИ и LLM для распространения дезинформации? В большинстве случаев другие атаки более выгодны в финансовом отношении, например:

Криптомайнинг : нецелевое использование вычислительной мощности скомпрометированных систем искусственного интеллекта для добычи криптовалют — очень удобно для наживы.
Шантаж с использованием конфиденциальных данных после кражи, например, данных пациентов, информации о клиентах или деловых секретов, и требование выкупа за их неразглашение.
Распределенные атаки типа «отказ в обслуживании» (DDoS) , т. е. бомбардировка критически важных для бизнеса систем запросами на их отключение, часто с требованием выкупа или в ходе кампании политической дезинформации.

Более продвинутые формы атак, требующие больше усилий, знаний и ресурсов:

Кража учетных данных : кража учетных данных для перемещения по системам организации (боковое перемещение) с целью получения доступа к более ценным данным. Когда учетные данные относятся к SaaS-сервисам, таким как ChatGPT, перепродажа их в Darknet также является вариантом.
Инициирование финансово выгодных действий : манипулирование системами ИИ для выполнения несанкционированных действий, таких как финансовые транзакции, — очевидно, довольно сложная и требующая больших усилий атака.

Топ-10 OWASP LLM: риски безопасности ИИ

Если взглянуть на рейтинг OWASP LLM Top 10 , то пять из десяти рисков связаны с манипулированием или атакой на саму модель ИИ:

Внедрение подсказок (LLM01): хакеры манипулируют системами ИИ, отправляя запросы, также известные как подсказки, в LLM, заставляя его вести себя не по назначению и генерировать вредоносные или ненадлежащие результаты.
Отравление обучающих данных (LLM-03): Злонамеренные субъекты портят обучающие данные, снижая качество моделей ИИ. Риск актуален для общедоступных обучающих данных сообщества, но не так актуален для внутренних данных. Последнее похоже на риски мошенничества или саботажа до появления ИИ для базы данных
Модель отказа в обслуживании (LLM04): перегрузка компонентов ИИ запросами, влияющими на их стабильность и доступность, что влияет на бизнес-приложения, которые от них зависят.
Раскрытие конфиденциальной информации (LLM-07): использование LLM для раскрытия конфиденциальных данных из-за неотредактированных входных данных, заканчивающихся на LLM, содержащих конфиденциальную информацию, или отсутствия фильтрации нежелательных запросов. LLM не имеют строгого мелкозернистого контроля доступа, известного из баз данных и файловых систем.
Кража моделей (LLM10): хакеры могут исследовать системы, чтобы понять, как они функционируют, что может привести к краже интеллектуальной собственности.
Чрезмерная зависимость от ИИ (LLM-09): слепое доверие к результатам ИИ может привести к неправильным решениям, например, когда LLM «галлюцинируют» и фабрикуют информацию. Это чистый бизнес-риск, не связанный с ИТ.

Все эти риски, перечисленные в LLM Top 10, существуют, хотя злоумышленники могут испытывать трудности с монетизацией успешных атак во многих сценариях. Организации могут снизить такой риск только на уровне приложений или моделей, например, периодически проводя их тестирование на проникновение.

Проблемы взаимодействия LLM

Бизнес-преимущества приходят с тесной интеграцией ИИ и LLM в бизнес-процессы. Техническое сопряжение LLM и других систем вносит технические риски безопасности , выходящие за рамки проблем, связанных с моделью. Эти риски учитываются для четырех из LLM Top 10:

Небезопасная обработка выходных данных (LLM-02) предостерегает от прямой передачи выходных данных другим системам без их очистки, например, от скрытых атак и вредоносных действий.
Избыточное агентство (LLM-08) относится к LLM, имеющим больше прав доступа, чем необходимо, например, для доступа к электронным письмам и их отправки, что позволяет успешным злоумышленникам инициировать нежелательные действия в других системах (например, удаление электронных писем).
Проблемы с разрешениями (LLM-06) связаны с нечеткими проверками аутентификации и авторизации. LLM или их плагины могут делать предположения относительно пользователей и ролей, которые не гарантируются другими компонентами.
Небезопасная конструкция плагина (LLM-10) указывает на риск, когда API не полагаются на конкретные, проверенные типы параметров, а принимают свободный текст, что может привести к вредоносному поведению при обработке запроса.

Все эти риски связаны с гигиеной API и отсутствием встроенных мер безопасности, которые крупные организации могут устранить с помощью тестирования на проникновение и мер обеспечения безопасности.

Хотя сегодня эксплуатация требует больших инвестиций, ситуация изменится, когда сервисы LLM будут развиваться в направлении экосистем с широко распространенными сторонними плагинами.

Внезапно киберпреступники увидели возможность массовых атак на уязвимости популярных плагинов или использования частых неправильных конфигураций. Профессиональное управление уязвимостями также будет обязательным в контексте LLM.

Риски, связанные с инструментами ИИ

В то время как общественность сосредоточена на атаках LLM, инфраструктура ИИ для их обучения и запуска может представлять более значительный риск, даже если компании полагаются на SaaS или широко используемые фреймворки ИИ.

Недавними примерами являются проблемы с двумя (открытыми) фреймворками искусственного интеллекта: уязвимость ShadowRay (CVE-2023-48022) и «Probllama» (CVE-2024-37032).

Проблема затрагивает Ollama, платформу для развертывания и запуска LLM, где плохая проверка входных данных позволяет злоумышленникам перезаписывать файлы, что потенциально приводит к удаленному выполнению кода.

hadowRay позволяет злоумышленникам отправлять задачи без аутентификации — открытое приглашение для эксплуатации. Действительно, сетевое зонирование и брандмауэры помогают, хотя (как-то пугающе) они не всегда на месте. Итак, эти два примера иллюстрируют, как быстро уязвимости инструментов и фреймворков ИИ становятся приглашениями для кибератак.

Не менее тревожен и триумвират ада SaaS у CISO каждой технологической компании: Slack, Hugging Face и GitHub (и их аналоги). Эти инструменты повышают эффективность совместной работы и производительность команды, а также помогают управлять кодом, данными обучения и моделями ИИ.

Однако неправильные конфигурации и эксплуатационные ошибки могут раскрыть конфиденциальные данные или токены доступа в сети. Благодаря своему широкому использованию эти инструменты являются более привлекательными целями для киберпреступников, чем отдельные атаки LLM.

Однако есть и хорошие новости: организации могут снизить многие риски, связанные с инструментами ИИ, путем стандартизации и централизации этих сервисов, чтобы обеспечить надлежащее усиление безопасности и быстрое реагирование при возникновении уязвимостей.

Общий ИТ-уровень

Многих специалистов по ИИ и безопасности может удивить тот факт, что такие массовые ИТ-услуги, как вычисления и хранение данных, включая базу данных как услугу, зачастую проще эксплуатировать, чем ИИ.

Неправильно настроенное хранилище объектов с данными обучения или как часть архитектур RAG позволяет злоумышленникам красть данные с целью получения выкупа. Доступ к вычислительным ресурсам (или при краже учетных данных для облачных хранилищ) открывает киберпреступникам путь к запуску виртуальных машин для майнинга криптовалюты.

OWASP LLM Top 10 не охватывает ни один из этих рисков, хотя незащищенные острова ИИ, в которых отсутствуют современные межсетевые экраны, разделение зон или адекватный контроль доступа, являются легкой добычей для киберпреступников. К счастью, CISO понимают эти риски и, как правило, уже имеют необходимые элементы управления для защиты классических рабочих нагрузок приложений.

Передача цепочки инструментов и сред искусственного интеллекта поставщикам SaaS не устраняет эти угрозы на 100%, поскольку услуги поставщиков SaaS также не всегда идеальны.

Компания Wiz, занимающаяся безопасностью, продемонстрировала, что даже такие известные предложения «ИИ как услуга», как SAP AI Core, Hugging Face или Replicate, имели серьезные (уже исправленные) уязвимости безопасности, позволяющие злоумышленникам обходить ограничения арендаторов и получать доступ к ресурсам других клиентов.

В рейтинге LLM Top 10 эти риски рассматриваются лишь в общих чертах и объединяются со многими другими темами в разделе «риск поставщика» (LLM-05).

В заключение, OWASP LLM Top 10 идеально подходит для повышения осведомленности о темах безопасности, связанных с ИИ. Тем не менее, снижение рисков на инструментах ИИ и уровнях общей ИТ-инфраструктуры является приоритетным, чтобы не дать злоумышленникам легко использовать ресурсы для майнинга криптовалют или эксфильтрации данных для шантажа.

Глубокое погружение в детали атак на основе моделей ИИ имеет абсолютный смысл и необходимо — на втором этапе.