Чат-боты на базе искусственного интеллекта (ИИ) могут пройти экзамен по кибербезопасности, но не стоит полагаться на них для полной защиты.
Такой вывод сделан в недавней статье, написанной в соавторстве с исследователем из Университета Миссури Прасадом Калямом и его коллегами из Университета Амрита в Индии. Команда протестировала два ведущих инструмента генеративного ИИ — ChatGPT от OpenAI и Bard от Google — с использованием стандартного сертифицированного экзамена по этичному хакингу.
Сертифицированные этические хакеры — это специалисты по кибербезопасности, которые используют те же приемы и инструменты, что и злонамеренные хакеры, чтобы находить и устранять уязвимости безопасности. Экзамены по этическому хакингу оценивают знания человека о различных типах атак, способах защиты систем и способах реагирования на нарушения безопасности.
ChatGPT и Bard, теперь Gemini, — это продвинутые программы искусственного интеллекта, называемые большими языковыми моделями. Они генерируют текст, похожий на человеческий, используя сети с миллиардами параметров, которые позволяют им отвечать на вопросы и создавать контент.
В ходе исследования Кэлям и его команда тестировали ботов, используя стандартные вопросы из проверенного сертифицированного экзамена по этичному хакингу. Например, они бросили вызов инструментам ИИ, чтобы объяснить атаку «человек посередине» — атаку, при которой третья сторона перехватывает связь между двумя системами. Оба смогли объяснить атаку и предложить меры безопасности для ее предотвращения.
Исследователи обнаружили, что в целом Bard немного превзошел ChatGPT с точки зрения точности, в то время как ChatGPT продемонстрировал лучшие ответы с точки зрения полноты, ясности и краткости.
«Мы предложили им пройти через несколько сценариев из экзамена, чтобы посмотреть, насколько далеко они зайдут в плане ответов на вопросы», — сказал Кэлям, профессор кафедры кибербезопасности им. Грега Л. Гиллиома в области электротехники и компьютерных наук в Миццу.
«Оба прошли тест и дали хорошие ответы, понятные людям с опытом работы в киберзащите, но они также дают неправильные ответы. А в кибербезопасности нет места для ошибок. Если вы не заткнете все дыры и будете полагаться на потенциально опасные советы, вас снова атакуют. И опасно, если компании думают, что они исправили проблему, но на самом деле этого не сделали».
Исследователи также обнаружили, что когда платформы просили подтвердить свои ответы с помощью подсказок типа «Вы уверены?», обе системы меняли свои ответы, часто исправляя предыдущие ошибки. Когда программы просили дать совет о том, как атаковать компьютерную систему, ChatGPT ссылался на «этику», а Bard отвечал, что он не запрограммирован помогать с такого рода вопросами.
Кэлям не считает, что эти инструменты могут заменить экспертов по кибербезопасности, обладающих опытом решения проблем и позволяющих разрабатывать надежные меры киберзащиты, но они могут предоставить базовую информацию отдельным лицам или небольшим компаниям, которым требуется быстрая помощь.
«Эти инструменты ИИ могут стать хорошей отправной точкой для исследования проблем перед консультацией со специалистом», — сказал он. «Они также могут быть хорошими учебными пособиями для тех, кто работает с информационными технологиями или хочет изучить основы выявления и объяснения возникающих угроз».
«Самое многообещающее в этом то, что инструменты ИИ будут только продолжать совершенствовать свои возможности», — сказал он.
«Исследования показывают, что модели ИИ могут способствовать этичному хакингу, но для полного использования их возможностей необходимо больше работы», — сказал Кэлям. «В конечном итоге, если мы сможем гарантировать их точность как этичных хакеров, мы сможем улучшить общие меры кибербезопасности и положиться на них, чтобы сделать наш цифровой мир более безопасным и защищенным».
