Гонка за искусственный интеллект идет полным ходом, но предприимчивые предприятия могут столкнуться со слепыми зонами безопасности.

Противоречие между инновациями и безопасностью — история старая как мир. Новаторы и ИТ-директора хотят прокладывать пути с помощью новых технологий. Директора по информационной безопасности и другие руководители служб безопасности хотят использовать более взвешенный подход, который снижает риски.

С ростом ИИ в последние годы, который регулярно характеризуется как гонка вооружений, есть реальное чувство срочности. Но этот риск, о котором беспокоятся люди, озабоченные безопасностью, все еще существует.  

Утечка данных. Теневой ИИ. Галлюцинации. Предвзятость. Отравление модели. Мгновенная инъекция, прямая и косвенная. Это известные риски, связанные с использованием ИИ , но это не значит, что руководители бизнеса знают обо всех способах, которыми они могут проявиться в их организациях и конкретных вариантах использования. А теперь в дело вмешивается агентный ИИ. 

«Организации очень и очень быстро переходят на агентский путь», — рассказал изданию InformationWeek Оливер Фридрихс, основатель и генеральный директор Pangea, компании, которая предоставляет средства безопасности для приложений ИИ . 

Какие проблемы безопасности могут упустить из виду предприятия, стремясь освоить возможности решений на базе искусственного интеллекта? 

Видимость 

Сколько моделей ИИ развернуто в вашей организации? Ответ на этот вопрос может оказаться не таким простым, как вы думаете.  

«Я не думаю, что люди понимают, насколько широко ИИ уже развернут в крупных предприятиях», — говорит Ян Свенсон, генеральный директор и основатель Protect AI , компании по безопасности ИИ и машинного обучения. «ИИ — это не просто новинка последних двух лет. Генеративный ИИ и этот приток больших языковых моделей, который мы видели, создали много попутных ветров, но нам также нужно подвести итоги того, что мы развернули». 

Вам нужно не только знать, какие модели используются, но и иметь представление о том, как эти модели принимают решения.  

«Если они отклоняют, скажем, страховую претензию по полису страхования жизни, должна быть какая-то история для соблюдения требований, а также возможность диагностировать, если что-то пойдет не так», — говорит Фридрихс.  

Если руководители предприятий не знают, какие модели ИИ используются и как эти модели себя ведут, они не смогут даже начать анализировать и снижать связанные с ними риски безопасности.  

Проверяемость

Свонсон дал показания перед Конгрессом во время слушаний по безопасности ИИ. Он предлагает простую метафору: ИИ как торт. Вы бы съели кусок торта, если бы не знали рецепта, ингредиентов, пекаря? Каким бы заманчивым ни был этот восхитительный десерт, большинство людей скажут «нет».  

«ИИ — это то, что вы не можете, и вы не должны просто потреблять. Вы должны понимать, как он устроен. Вы должны понимать и убедиться, что он не включает в себя вредоносные вещи», — говорит Свенсон.  

Была ли защищена модель ИИ на протяжении всего процесса разработки? Имеют ли команды безопасности возможность проводить непрерывный мониторинг?  

«Очевидно, что безопасность — это не разовая проверка. Это непрерывный процесс, и это новые мускулы, которые сейчас наращивают многие организации», — добавляет Свенсон.  

Третьи лица и использование данных

Риск третьих лиц — это постоянная проблема для служб безопасности, и этот риск растет вместе с ИИ. Модели ИИ часто имеют сторонние компоненты, и каждая дополнительная сторона — это еще одна потенциальная точка воздействия на корпоративные данные.  

«Нам действительно предстоит разобраться и понять, что делают эти третьи стороны с нашими данными для нашей организации», — говорит Харман Каур, вице-президент по ИИ в  Tanium , компании, занимающейся кибербезопасностью и управлением системами. 

Имеют ли третьи лица доступ к данным вашего предприятия? Перемещают ли они эти данные в регионы, которые вам не нужны? Используют ли они эти данные для обучения моделей ИИ? Корпоративным командам необходимо изучить условия любого соглашения, которое они заключают для использования модели ИИ, чтобы ответить на эти вопросы и решить, как двигаться дальше, в зависимости от допустимого риска.  

Правовой риск 

Правовой ландшафт для ИИ все еще находится в зачаточном состоянии. Правила все еще находятся в стадии разработки, но это не отменяет наличия правового риска. Уже есть множество примеров судебных исков и коллективных исков, поданных в ответ на использование ИИ.  

«Когда случается что-то плохое, всех будут судить. И они будут указывать пальцами друг на друга», — говорит Роберт В. Тейлор, юрисконсульт в Carstens, Allen & Gourley , юридической фирме по технологиям и интеллектуальной собственности. Разработчики моделей ИИ и их клиенты могут оказаться ответственными за результаты, которые наносят вред.  

И многие предприятия подвержены такому риску. «Когда компании рассматривают возможность создания или развертывания таких решений на основе ИИ, они не проводят комплексную оценку правовых рисков», — замечает Тейлор.  

Теперь предсказать, как в конечном итоге установится законность вокруг ИИ, и когда это вообще произойдет, — задача не из легких. Дорожной карты нет, но это не значит, что корпоративные команды должны сложить руки и двинуться вперед, не думая о юридических последствиях. 

«Главное — убедиться, что вы на глубоком уровне понимаете, в чем заключается весь риск, связанный с используемыми вами технологиями, а затем сделать все возможное, следуя разумным рекомендациям по минимизации этого вреда и документируя все», — говорит Тейлор.  

Ответственный ИИ

Сегодня доступно множество фреймворков для ответственного использования ИИ, но дьявол кроется в деталях.  

«Я думаю, что многим компаниям, включая моих клиентов, сложно взять принципы ответственного ИИ и применить их к конкретным вариантам использования», — делится Тейлор.  

Корпоративным командам приходится проделывать сложную работу, чтобы определить риски, характерные для их вариантов использования, и то, как они могут применить принципы ответственного ИИ для их снижения.  

Безопасность против инноваций 

Принятие безопасности и инноваций может ощущаться как балансирование на острие ножа. Сдвиньтесь в одну сторону, и вы почувствуете удар отставания в гонке ИИ. Сдвиньтесь в другую сторону, и вы можете столкнуться с уколом от невнимания к подводным камням безопасности. Но бездействие гарантирует, что вы отстанете. 

«Мы видели, как это парализует некоторые организации. Они понятия не имеют, как создать структуру, чтобы сказать, готовы ли мы принять этот риск», — говорит Каур.  

Внедрение ИИ с установкой на безопасность не означает, что риска можно полностью избежать. Конечно, нет. «Реальность такова, что это настолько быстро меняющееся пространство, что это как пить из пожарного шланга», — говорит Фридрихс.  

Корпоративные команды могут предпринять некоторые целенаправленные шаги, чтобы лучше понять риски ИИ, характерные для их организаций, и одновременно осознать ценность этой технологии.  

Если использовать метафору Свенсона, то просмотр всех инструментов ИИ, доступных сегодня на рынке, сродни нахождению в кондитерской. Каждая выглядит вкуснее предыдущей. Но предприятия могут сузить процесс принятия решения, начав с поставщиков, которых они уже знают и которым доверяют. Легче узнать, откуда взялся этот торт и каковы риски его поглощения.  

«Кому я уже доверяю и кто уже есть в моей организации? Что я могу использовать от этих поставщиков, чтобы повысить свою производительность сегодня?» — говорит Каур. «И в целом, что мы видели, так это то, что в этих организациях наша юридическая команда, наши команды по безопасности уже провели обширные проверки. Так что нам нужно сделать лишь небольшую часть». 

Используйте доступные структуры управления рисками, такие как структура управления рисками ИИ от Национального института стандартов и технологий (NIST). 

«Начните выяснять, какие элементы для вас наиболее важны и что действительно для вас критически важно, и начните пропускать все поступающие инструменты через этот фильтр», — говорит Каур.  

Такой подход требует многопрофильных усилий. ИИ используется на всех предприятиях. Разные команды будут определять и понимать риск по-разному.  

«Привлеките свои команды по безопасности, команды по разработке, команды по бизнесу, сосредоточьтесь на процессе, который необходимо улучшить, и отталкивайтесь от этого», — рекомендует Свенсон.  

ИИ представляет собой ошеломляющие возможности для предприятий, и мы только начали проходить кривую обучения. Но риски безопасности, видите ли вы их или нет, всегда должны быть частью разговора.  

«На предприятии не должно быть ИИ без обеспечения безопасности. ИИ должен быть безопасным, надежным и защищенным, чтобы он мог приносить пользу», — говорит Свенсон.