ИИ-агент против людей-безопасников: кто кого в реальном пентесте?

Уже давно ведется жаркая дискуссия на тему того, насколько ИИ-агенты в сфере кибербезопасности хороши в работе. Обычно спор базируется на задаче по поиску известных уязвимостей. Но правда в том, что настоящий пентест работает не так. Это большая корпоративная сеть, тысячи хостов, неполные (и чаще недостоверные) данные, цепочки микроуязвимостей и человеческий фактор. Собственно, тут-то и важно уметь не только «знать ответ», но планировать исследование и доводить задачу до конца.

Авторы исследования из Стэнфорда решили как раз сравнить настоящих специалистов по кибербезопасности против ИИ-агентов в живой университетской сети примерно на 8 000 хостов и 12 подсетях.

Это — главное достоинство работы. Тут сравнивается не абстрактная «киберэрудиция», а способность работать в настоящей боевой инфраструктуре.

Почему это сложно и рискованно

В отличие от тестирования в песочнице, боевая задача может нести операционные риски: если агент активно сканирует уязвимости, то это может затронуть доступность инфраструктуры, если нашел и эксплуатировал уязвимость — оказать влияние на целостность данных, а если передать артефакты не тем людям — то и на конфиденциальность.

Поэтому авторы заранее согласовали весь процесс в стиле «боевого пентеста, но безопасно»: запретили деструктивные вещи, ограничили диапазон действий агента, следили за ним всей IT командой. Это важная часть эксперимента.

Пентест — это не только про то, сколько дыр найдет агент. Это понимание насколько дыра сложная с технической точки зрения и насколько она критична для бизнеса. Потому авторы разработали скоринг, который учитывает техническую сложность и бизнес-значимость уязвимости. Отдельно фиксируется, была ли уязвимость реально эксплуатирована или только подтверждена без полного воздействия — за второе дают меньше очков.

Исследователи наняли десять человек и сказали им работать по 10 часов минимум и документировать найденные уязвимости в предоставленный шаблон.

ИИ-агентов сравнивали поинтереснее: взяли 6 существующих агентов плюс ARTEMIS. У ARTEMIS есть супервайзер + n-ое количество субагентов и динамическая генерация промптов. Кстати, авторы отмечают, что ARTEMIS по сути не добавляет LLM никаких новых знаний.

Что получилось на практике

В группе людей обнаружили 49 уникальных уязвимостей. Разброс по людям большой: кто-то принес 3, а кто-то 13 уязвимостей. Одну и ту же уязвимость, как правило, находят один-два участника.

У ИИ-агентов ситуация диаметрально иная. Многие существующие агенты быстро «выдыхались», либо застревали на начальном этапе, ну либо в принципе отказывались работать из коробки из‑за внутренних ограничений. ARTEMIS же оказался получше: он смог работать продолжительное время, парралеля задачи и возвращаясь к исходным целям.

Согласно итоговому лидерборду, одна из конфигураций ARTEMIS заняла второе место: было обнаружено 11 уязвимостей, 82% сабмитов были признаны валидными, а итоговый счет — 95.2. Такой результат лучше, чем у 9 из 10 людей. Но при этом другая реализация ARTEMIS выдала куда более плохую точность (55% валидных), что прекрасно иллюстрирует основную мысль статьи: за результат отвечает не только модель, но и оболочка. Один и тот же движок в разных обвязках ведет себя иначе — иногда результаты расходятся кардинально.

Сильные и слабые стороны ИИ-агента

ARTEMIS справляется особенно хорошо тогда, когда нужны системность, целеустремлённость, параллелизация попыток и память долгих сценариев. Как будто бы несколько джунов работают под руководством умного тимлида, который не устает, и всё помнит. Там же отмечен и экономический эффект: по некоторым оценкам, ARTEMIS расходовал по $18/час против ~$60/час у профессиональных специалистов.

Качественный же проигрыш — в синтезе сигналов. У агентов выше доля ложноположительных срабатываний (false positive), а это вообще не шутка: каждый лишний аларм в обороне — время инженера и риск неверной приоритизации. Ещё один существенный предел на сегодня — задачи, требующие графического интерфейса. Там, где пентестер просто быстро что-то щёлкнет для проверки гипотезы, агент может потратить минуты, или даже часы на бэктрекинг.

Что это значит для нас

Исследование смещает фокус от вопроса умеют ли агенты взламывать IT-системы к более практичному вопросу: какие методы и инструменты превращают ИИ в надежного пентестера?

Вывод не сенсационный, но ценный: обычные агенты пока уступают людям в поиске киберуязвимостей, но хорошо спроектированная мультиагентная система способна конкурировать с сильными специалистами — и местами даже обгонять их по стабильности процесса и масштабу параллельной работы.

Однако для безопасности нужен и контроль за самими агентами: исследование их цепочек рассуждений и продуманная политика доступов к системам. Без этого агенты способны сделать что-то очень опасное.

📜 Полная статья

💾 Код

***

Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.