Решение Cisco AI Defense, выпуск которого запланирован на март, обеспечит алгоритмическое объединение больших языковых моделей с технологией, которая появилась в рамках приобретения Robust Intelligence в прошлом году.
Cisco расширяет свою платформу безопасности облака с помощью новой технологии, которая позволит разработчикам обнаруживать и устранять уязвимости в приложениях искусственного интеллекта (ИИ) и их базовых моделях.
Новое предложение Cisco AI Defense, представленное 15 января, также призвано предотвратить утечку данных сотрудниками, использующими такие сервисы, как ChatGPT, Anthropic и Copilot. Сетевой гигант уже предлагает AI Defense клиентам с ранним доступом и планирует выпустить его для широкой публики в марте.
AI Defense интегрирован с Cisco Secure Access, обновленным портфелем безопасности облака Secure Service Edge (SSE), который Cisco запустила в прошлом году. Предложение программного обеспечения как услуги включает сетевой доступ с нулевым доверием, VPN как услугу, безопасный веб-шлюз, брокер безопасности облачного доступа, межсетевой экран как услугу и мониторинг цифрового опыта.
Администраторы могут просматривать панель управления AI Defense в интерфейсе Cisco Cloud Control, где размещены все предложения Cisco по обеспечению безопасности в облаке.
Пробелы в возможностях ИИ
«AI Defense призвана помочь организациям, обеспокоенным рисками безопасности, связанными с ИИ, но вынужденным внедрять эту технологию в свои бизнес-процессы», — заявил на презентации Джиту Патель, директор по продуктам и исполнительный вице-президент Cisco.
«Вам нужно иметь правильный уровень скорости и быстроты, чтобы продолжать внедрять инновации в этом мире, но вам также нужно убедиться, что у вас есть безопасность», — сказал Патель. «Это не те компромиссы, которые вам нужны. Вы хотите убедиться, что у вас есть и то, и другое».
Согласно исследованию Cisco 2024 AI Readiness Survey , 71% респондентов не считают, что они полностью готовы предотвратить несанкционированное вмешательство в работу ИИ в своих организациях. Кроме того, 67% заявили, что у них ограниченное понимание угроз, характерных для машинного обучения. Патель сказал, что AI Defense решает эти проблемы.
«Cisco AI Defense — это продукт, который представляет собой общую основу безопасности и защиты, которую можно применять в любой модели, на любом агенте, в любом приложении, в любом облаке», — сказал он.
Проверка модели в масштабе
Cisco AI Defense в первую очередь ориентирована на корпоративные организации AppSecOps. Она позволяет разработчикам проверять модели ИИ до того, как приложения и агенты будут развернуты в производстве.
Патель отметил, что проблема с моделями ИИ заключается в том, что они постоянно меняются по мере добавления в них новых данных, что меняет поведение приложений и агентов.
«Если модели постоянно меняются, процесс проверки также должен быть непрерывным», — сказал он.
В поисках способа предложить эквивалент red teaming, Cisco в прошлом году приобрела Robust Intelligence , стартап, основанный в 2019 году исследователями из Гарварда Яроном Сингером и Коджином Ошибой, и основной компонент AI Defense. Платформа Robust Intelligence использует алгоритмическое red teaming для сканирования уязвимостей вместе с механизмом, созданным Robust Intelligence под названием Tree of Attacks with Pruning , методом на основе ИИ, использующим автоматизацию для систематического взлома больших языковых моделей (LLM).
По словам Пателя, Cisco AI Defense использует модели обнаружения от поставщика платформы генеративного ИИ (GenAI) Scale AI и телеметрию разведки угроз от Talos компании Cisco и недавно приобретенного Splunk для непрерывной проверки моделей и автоматической рекомендации защитных ограждений. Кроме того, он отметил, что Cisco разработала AI Defense для распространения этих защитных ограждений по сетевой структуре.
«По сути, это позволяет нам предоставлять специально созданную модель и данные для выхода, что позволяет нам проверить, будет ли модель работать в соответствии с ожиданиями или она нас удивит», — сказал Патель, добавив, что большинству организаций обычно требуется от семи до десяти недель для проверки модели. «Мы можем сделать это за 30 секунд, потому что это полностью автоматизировано», — сказал он.
Аналитики полагают, что Cisco — первый крупный игрок, запустивший технологию, способную обеспечить автоматизированную проверку моделей в таком масштабе.
«Я не знаю никого, кто сделал бы что-то близкое к этому», — говорит Фрэнк Диксон, вице-президент группы по исследованию безопасности и доверия IDC. «Я слышал, что люди делают то, что мы могли бы назвать брандмауэром LLM, но это не так сложно и запутанно, как это. Возможность проводить такого рода автоматизированное тестирование на проникновение за 30 секунд выглядит довольно ловко».
Скотт Кроуфорд, директор по исследованиям канала 451 Research Information Security компании S&P Global Market Intelligence, соглашается с этим, отмечая, что различные крупные поставщики по-разному подходят к обеспечению безопасности GenAI.
«Но в случае Cisco это первое приобретение стартапа с таким фокусом, когда компания приобрела Robust Intelligence, который лежит в основе этой инициативы», — говорит Кроуфорд. «В этой области есть ряд других стартапов, любой из которых может стать целью приобретения в этой новой области, но это было первое подобное приобретение крупным поставщиком корпоративных ИТ-решений».
По словам Кроуфорда, в этом году обеспечение безопасности ИИ станет одной из главных проблем, учитывая рост числа атак на уязвимые модели.
«Мы уже видели примеры использования LLM, и эксперты рассмотрели способы, с помощью которых можно манипулировать и атаковать его», — говорит он.
Такие инциденты, часто описываемые как LLMjacking, осуществляются путем эксплуатации уязвимостей с помощью быстрых инъекций, атак на цепочки поставок и отравления данных и моделей. Одна заметная атака LLMjacking была обнаружена в прошлом году группой Sysdig Threat Research Team, которая обнаружила украденные облачные учетные данные, нацеленные на 10 размещенных в облаке LLM. В этом инциденте злоумышленники получили доступ к учетным данным из системы, работающей под управлением уязвимой версии Laravel ( CVE-2021-3129 ).
