Будущее кибербезопасности напоминает цифровую версию игры "Rock 'Em Sock 'Em Robots", где ИИ, ориентированные на атаку и защиту, сталкиваются друг с другом — по крайней мере, такое впечатление создаёт отчёт NBC о взглядах индустрии на ИИ. «За последние месяцы хакеры всех мастей — киберпреступники, шпионы, исследователи и корпоративные защитники — начали интегрировать инструменты ИИ в свою работу», — говорится в отчёте.
«Большие языковые модели, такие как ChatGPT, всё ещё склонны к ошибкам, но они стали удивительно эффективны в обработке языковых инструкций, переводе обычного языка в компьютерный код, а также в выявлении и обобщении документов». NBC описывает, как Google использует ИИ для обнаружения уязвимостей, CrowdStrike применяет ИИ для помощи тем, кто считает себя взломанным, а стартап Xbow разработал ИИ, который в июне поднялся на вершину американского лидерборда HackerOne.
(HackerOne позже разделил рейтинги на индивидуальных исследователей и «коллективы», такие как Xbow.) Ранее я сообщал о предупреждении CrowdStrike: северокорейские агенты используют генеративный ИИ для создания резюме, аккаунтов в соцсетях и других материалов, чтобы обманом устроиться в западные технологические компании, где они применяют ИИ для общения с коллегами, написания кода и поддержания видимости нормальной работы, получая зарплату.
Полезность ИИ для таких целей, как социальная инженерия или обобщение документов, хорошо установлена (в отличие от его способности проводить сложные исследования в области кибербезопасности; он всё ещё не особо хорош в анализе фактов). Однако говорить о наступлении эры ИИ-хакинга кажется преждевременным, поскольку ИИ чаще используется как усилитель возможностей, а не как полностью автономное решение. Вице-президент Google по инженерной безопасности Хизер Адкинс сообщила NBC, что она не видела, чтобы ИИ обнаружил что-то принципиально новое, и что он «просто делает то, что мы уже умеем».
Она добавила, что технологии будут развиваться, но исследователи, компании и независимые организации с 1960-х годов уверяют, что ИИ превзойдёт текущие ограничения, так что мы имеем дело с долгосрочной перспективой. Взлёт Xbow на вершину HackerOne интересен, но игнорирует огромное количество «мусора», производимого аналогичными ИИ-инструментами, которые обещают помочь исследователям находить уязвимости.
Даниэль Стенберг, ведущий разработчик проекта curl, на котором зависят практически все подключённые к интернету устройства, неоднократно жаловался на время, потраченное на «уязвимости», найденные ИИ. «Общая тенденция в 2025 году — значительно больше ИИ-мусора, чем раньше (около 20% всех заявок), в среднем около двух отчётов о безопасности в неделю», — написал Стенберг в недавнем посте в блоге. «В начале июля лишь 5% заявок в 2025 году оказались настоящими уязвимостями. Доля подтверждённых уязвимостей значительно снизилась по сравнению с предыдущими годами». Стенберг также посвятил этому проблему выступление, и стоит прочитать его пост 2024 года на эту тему.
Ведущий разработчик проекта, используемого в более чем 20 миллиардах устройств, тратит столько времени на разоблачение этой проблемы, не говоря уже о её решении. Сколько других сопровождающих открытых проектов сталкиваются с аналогичными трудностями, но без такой же видимости? ИИ доказал свою полезность в атаках социальной инженерии, таких как схема с северокорейскими техработниками, ускорил обнаружение уязвимостей исследователями Google и нашёл способы подняться в рейтинге HackerOne.
NBC также сообщает, что российские хакеры начали встраивать ИИ в вредоносное ПО, используемое против Украины, для автоматического поиска чувствительных файлов на компьютерах жертв для отправки в Москву. Однако ИИ не обнаружил много интересных уязвимостей самостоятельно, засыпает проекты с открытым кодом нерелевантными отчётами, и неизвестно, принесли ли ИИ, использованные для поиска данных на стороне России, ценную развединформацию.
(Особенно если ИИ затем обобщал скомпрометированные документы и «галлюцинировал» сенсационные данные, чтобы его виртуальную семью не отправили в ГУЛАГ.) Достаточно ли этого, чтобы объявить эру ИИ-хакинга, или это лишь побочный эффект ажиотажа вокруг ИИ, подпитываемого огромными расходами крупнейших технологических компаний, инвестиционными трендами венчурного капитала и геополитическими конфликтами вокруг того, что эти группы провозгласили индустрией будущего?
Оригинал
Уникальность
