Мы изучаем преимущества и опасности использования специалистами в области кибербезопасности инструментов искусственного интеллекта, таких как ChatGPT, в центрах обработки данных, а также то, как они уже используются злоумышленниками.

Мир изменился 30 ноября, когда OpenAI представила ChatGPT ничего не подозревающей публике.

Университеты изо всех сил пытались придумать, как сдавать эссе на дом, если студенты могут просто попросить ChatGPT написать его за них. Затем ChatGPT сдал тесты юридической школы , тесты бизнес-школы и даже экзамены на получение медицинской лицензии. Сотрудники повсюду начали использовать его для создания электронных писем, отчетов и даже написания компьютерного кода .

Она не идеальна и не в курсе текущих новостей, но она более мощная, чем любая система искусственного интеллекта, к которой обычный человек когда-либо имел доступ. Он также более удобен для пользователя, чем искусственный интеллект систем корпоративного уровня.

Кажется, что как только большая языковая модель, такая как ChatGPT , становится достаточно большой и имеет достаточно обучающих данных, параметров и слоев в нейронных сетях, начинают происходить странные вещи. Он развивает «новые свойства», которые не очевидны и невозможны в моделях меньшего размера. Другими словами, он начинает действовать так, как будто у него есть здравый смысл и понимание мира – или, по крайней мере, какое-то приближение к этим вещам.

Крупнейшие технологические компании попытались отреагировать. Microsoft инвестировала 10 миллиардов долларов в OpenAI и добавила в Bing функциональность ChatGPT, внезапно сделав поисковую систему темой для разговоров впервые за долгое время.

Google объявила «красный код», объявила о собственных планах чата и инвестировала в конкурента OpenAI Anthropic, основанного бывшими сотрудниками OpenAI и имеющего собственного чат-бота Клода.

Amazon объявила о планах создать собственного конкурента ChatGPT и объявила о партнерстве с еще одним стартапом в области искусственного интеллекта, Hugging Face. А Meta от Facebook будет ускорять реализацию собственных усилий в области искусственного интеллекта.

К счастью, эту новую технологию могут использовать и специалисты по безопасности. Они могут использовать его для исследований, написания электронных писем и отчетов, написания кода и других способов, которые мы рассмотрим.

Тревожно то, что злоумышленники также используют его для всех этих целей, а также для фишинга и социальной инженерии. Они также используют его, чтобы создавать глубокие фейки такого масштаба и уровня точности, которые невозможно было себе представить всего несколько месяцев назад. Да, и сам ChatGPT также может представлять угрозу безопасности.

Давайте рассмотрим эти основные темы безопасности центров обработки данных одну за другой, начиная со способов, которыми злоумышленники могут использовать – а в некоторых случаях уже используют – ChatGPT. Затем мы рассмотрим преимущества и опасности, с которыми специалисты по кибербезопасности используют инструменты искусственного интеллекта, такие как ChatGPT.

Как злоумышленники используют ChatGPT

ChatGPT уже используют злоумышленники, в том числе российские хакеры . После того, как инструмент был выпущен 30 ноября, быстро последовали дискуссии на русскоязычных сайтах, в которых обсуждалась информация о том, как обойти географические ограничения OpenAI с помощью VPN и временных телефонных номеров.

Что касается того, как именно ChatGPT будет использоваться для стимулирования кибератак, в опросе ИТ-руководителей Blackberry, опубликованном в феврале , 53% респондентов заявили, что он поможет хакерам создавать более правдоподобные фишинговые электронные письма, а 49% указали на его способность помогать хакерам. улучшить свои способности кодирования.

Еще один вывод опроса: 49% лиц, принимающих решения в сфере ИТ и кибербезопасности, заявили, что ChatGPT будет использоваться для распространения дезинформации и дезинформации, а 48% полагают, что его можно использовать для создания совершенно новых разновидностей вредоносного ПО. Немного ниже (46%) заявили, что ChatGPT может помочь улучшить существующие атаки.

«Мы видим, как программисты — даже не программисты — используют ChatGPT для создания эксплойтов, которые можно эффективно использовать», — сказал Дион Хинчклифф, вице-президент и главный аналитик Constellation Research.

В конце концов, модель ИИ прочитала все, что когда-либо было публично опубликовано. «Каждый отчет об исследовательских уязвимостях», — сказал Хинчклифф. — «Каждое обсуждение на форуме всех экспертов по безопасности. Это как супермозг, который знает все способы, которыми вы можете скомпрометировать систему».

Это пугающая перспектива.

И, конечно же, злоумышленники также могут использовать его для записи, добавил он. «Нас затопят дезинформацией и фишинговым контентом со всех сторон».

Как ChatGPT может помочь специалистам по безопасности центров обработки данных

Что касается специалистов по кибербезопасности центров обработки данных, использующих ChatGPT, Джим Ривис, генеральный директор Cloud Security Alliance, сказал, что за последние несколько недель он стал свидетелем нескольких невероятных вирусных экспериментов с инструментом искусственного интеллекта.

«Вы видите, что он пишет много кода для инструментов оркестрации безопасности, автоматизации и реагирования, DevSecOps и общей гигиены облачных контейнеров», — сказал он. «ChatGPT создает огромное количество политик безопасности и конфиденциальности. Возможно, самое заметное, что существует множество тестов для создания высококачественных фишинговых писем, которые, как мы надеемся, сделают нашу защиту более устойчивой в этом отношении».

Кроме того, по словам Ривиса, несколько основных поставщиков кибербезопасности уже имеют (или скоро будут иметь) аналогичные технологии в своих системах, прошедшие обучение по особым правилам.

«Раньше мы также видели инструменты с возможностями интерфейса на естественном языке, но пока не было широко открытого интерфейса ChatGPT, ориентированного на клиента», — добавил он. «Я ожидаю увидеть коммерческие решения с интерфейсом ChatGPT довольно скоро, но я думаю, что сейчас лучшим моментом является системная интеграция нескольких инструментов кибербезопасности с ChatGPT и автоматизация безопасности DIY в публичных облаках».

В целом, по его словам, ChatGPT и его аналоги имеют большие перспективы помочь командам по кибербезопасности центров обработки данных работать с большей эффективностью, масштабировать ограниченные ресурсы и выявлять новые угрозы и атаки.

«Со временем практически любая функция кибербезопасности будет дополнена машинным обучением», — сказал Ривис. «Кроме того, мы знаем, что злоумышленники используют такие инструменты, как ChatGPT, и предполагается, что вам понадобится использовать ИИ для борьбы со злонамеренным ИИ».

Как Mimecast использует ChatGPT

Например, поставщик средств защиты электронной почты Mimecast уже использует большую языковую модель для создания искусственных электронных писем для обучения своих собственных ИИ для обнаружения фишинга.

«Обычно мы обучаем наши модели с помощью реальных электронных писем», — сказал Хосе Лопес, главный специалист по данным и инженер по машинному обучению в Mimecast.

Создание синтетических данных для обучающих наборов — одно из основных преимуществ больших языковых моделей, таких как ChatGPT. «Теперь мы можем использовать эту большую языковую модель для создания большего количества электронных писем», — сказал Лопес.

Он отказался сообщить, какую именно модель большого языка использует Mimecast. Он сказал, что эта информация является «секретным соусом» компании.

Однако Mimecast в настоящее время не пытается определить, генерируются ли входящие электронные письма ChatGPT. Это потому, что ChatGPT используют не только злоумышленники. ИИ — настолько полезный инструмент повышения производительности, что многие сотрудники используют его для улучшения своих собственных, полностью законных коммуникаций.

Сам Лопес, например, испанец и теперь использует ChatGPT вместо программы проверки грамматики, чтобы улучшить свое письмо.

Лопес также использует ChatGPT для написания кода — то, что, вероятно, делают многие специалисты по безопасности.

«В своей повседневной работе я использую ChatGPT каждый день, потому что он действительно полезен для программирования», — сказал Лопес. «Иногда это неправильно, но достаточно часто это правильно, чтобы открыть вам голову для других подходов. Я не думаю, что ChatGPT превратит кого-то, у кого нет способностей, в суперхакера. Но если я на чем-то застрял, и не надо Если вам не с кем поговорить, ChatGPT может предложить вам новый подход. Так что я использую его, да. И это действительно очень хорошо».

Распространение инструментов безопасности на базе искусственного интеллекта

OpenAI уже начала работу над повышением точности системы. А Microsoft с помощью Bing Chat предоставила ему доступ к самой последней информации в Интернете.

«Следующая версия будет иметь резкий скачок качества», — добавил Лопес. Кроме того, скоро появятся версии ChatGPT с открытым исходным кодом.

«В ближайшем будущем мы сможем точно настраивать модели под что-то конкретное», — сказал он. «Теперь у вас есть не просто молоток – у вас есть целый набор инструментов. И вы можете создавать новые инструменты для ваши конкретные потребности».

Например, компания может настроить модель для мониторинга соответствующей активности в социальных сетях и поиска потенциальных угроз. Только время покажет, окажутся ли результаты лучше нынешних подходов.

Добавление ChatGPT к существующему программному обеспечению также стало проще и дешевле; 1 марта OpenAI выпустила API для разработчиков для доступа к ChatGPT и Whisper — модели преобразования речи в текст.

Предприятия в целом быстро внедряют инструменты безопасности на базе искусственного интеллекта для борьбы с быстро развивающимися угрозами, которые становятся более масштабными, чем когда-либо прежде.

Согласно последнему опросу Mimecast , 92% компаний либо уже используют, либо планируют использовать искусственный интеллект и машинное обучение для повышения своей кибербезопасности.

В частности, 50% видят преимущества в его использовании для более точного обнаружения угроз, 49% — в улучшении способности блокировать угрозы и 48% — в более быстром устранении последствий атаки.

А 81% респондентов заявили, что системы искусственного интеллекта, которые в режиме реального времени предоставляют контекстные предупреждения пользователям электронной почты и инструментов для совместной работы, станут огромным благом.

«Двенадцать процентов зашли так далеко, что заявили, что преимущества такой системы произведут революцию в способах реализации кибербезопасности», — говорится в отчете.

Инструменты искусственного интеллекта, такие как ChatGPT, также могут помочь устранить дефицит навыков в области кибербезопасности, сказал Кетаки Бораде, старший аналитик практики кибербезопасности Omdia. «Использование таких инструментов может ускорить выполнение более простых задач, если подсказки предоставляются правильно, а ограниченные ресурсы можно сосредоточить на более срочных и высокоприоритетных задачах».

По ее словам, если все сделать правильно, это можно использовать с пользой.

«Эти большие языковые модели представляют собой фундаментальный сдвиг парадигмы», — сказал Йель Фокс, член IEEE, а также основатель и генеральный директор Applied Science Group. «Единственный способ дать отпор злонамеренным атакам с использованием ИИ — использовать ИИ в своей защите. Менеджерам по безопасности в центрах обработки данных необходимо повышать квалификацию существующих ресурсов по кибербезопасности, а также находить новых, специализирующихся на искусственном интеллекте».

Опасности использования ChatGPT в центрах обработки данных

Как уже говорилось, инструменты искусственного интеллекта, такие как ChatGPT и Copilot, могут повысить эффективность специалистов по безопасности, помогая им писать код. Но, согласно недавнему исследованию Корнеллского университета , программисты, использовавшие ИИ-помощников, с большей вероятностью создавали небезопасный код, при этом считая его более безопасным, чем те, кто этого не делал.

И это только верхушка айсберга, когда речь идет о потенциальных недостатках использования ChatGPT без учета рисков.

Было несколько широко разрекламированных случаев, когда ChatGPT или Bing Chat с большой уверенностью предоставляли неверную информацию , составляли статистику и цитаты или предоставляли совершенно ошибочные объяснения отдельных концепций.

Тот, кто слепо доверяет этому, может оказаться в очень плохом месте.

«Если вы используете сценарий, разработанный ChatGPT, для обслуживания 10 000 виртуальных машин, и сценарий содержит ошибки, у вас возникнут серьезные проблемы», — сказал Реавис из Cloud Security Alliance.

Риск утечки данных

Еще одним потенциальным риском для специалистов по безопасности центров обработки данных, использующих ChatGPT, является утечка данных.

Причина, по которой OpenAI сделала ChatGPT бесплатным, заключается в том, что он может учиться на взаимодействии с пользователями. Так, например, если вы попросите ChatGPT проанализировать состояние безопасности вашего центра обработки данных и выявить слабые места, вы теперь научили ChatGPT всем уязвимостям вашей безопасности.

Теперь примите во внимание февральский опрос Fishbowl , социальной сети, ориентированной на работу, который показал, что 43% профессионалов используют ChatGPT или аналогичные инструменты на работе, по сравнению с 27% месяцем ранее. А если и делают, то 70% из них не говорят об этом своему начальству. Потенциальные риски безопасности высоки.

Именно поэтому JPMorgan, Amazon, Verizon, Accenture и многие другие компании, как сообщается, запретили своим сотрудникам использовать этот инструмент.

Новый API ChatGPT, выпущенный OpenAI в этом месяце, позволит компаниям сохранять конфиденциальность своих данных и отказаться от их использования для обучения, но нет никакой гарантии, что не произойдет случайных утечек.

В будущем, как только станут доступны версии ChatGPT с открытым исходным кодом, центры обработки данных смогут запускать его за пределами своих межсетевых экранов, в помещениях, в безопасности от возможного воздействия посторонних.

Этические проблемы

Наконец, существуют потенциальные этические риски использования технологии ChatGPT для внутренней безопасности центров обработки данных, говорит Карм Тальенти, выдающийся инженер Insight.

«Эти модели очень хорошо понимают, как мы общаемся, будучи людьми», — сказал он. Таким образом, инструмент в стиле ChatGPT, имеющий доступ к сообщениям сотрудников, может выявить намерения и подтекст, указывающие на потенциальную угрозу.

«Мы пытаемся защититься от взлома сети и взлома внутренней среды. Многие нарушения происходят из-за того, что люди выходят за дверь с вещами», — сказал он.

Что-то вроде ChatGPT «может быть очень ценным для организации», добавил он. «Но теперь мы вступаем в эту этическую область, где люди будут составлять мой профиль и контролировать все, что я делаю».

Это будущее в стиле «Особого мнения», к которому центры обработки данных могут быть не готовы.