Что происходит, когда искусственный интеллект соревнуется с хакерами-людьми

Кибербезопасное соревнование предоставило, возможно, крупнейший контролируемый набор данных, сравнивающий команды, усиленные ИИ, с исключительно человеческими командами в выполнении профессиональных задач наступательной безопасности.

Мероприятие под названием NeuroGrid длилось 72 часа на платформе Hack The Box и собрало 1337 зарегистрированных исключительно человеческих команд и 156 команд с ИИ-агентами. Участники состязались в 36 испытаниях из девяти областей безопасности четырёх уровней сложности. Команды ИИ работали через Model Context Protocol под наблюдением человека. Анализ охватывает 958 человеческих команд и 120 команд с ИИ-агентами, каждая из которых предприняла попытку решить хотя бы одно задание.

ИИ против хакеров-людей: Процент завершения и соотношение решений

Команды, усиленные ИИ, завершали испытания с заметно более высокой частотой, чем исключительно человеческие команды: примерно 73 процента решили хотя бы одно задание по сравнению с 46 процентами среди участников без ИИ.

Преимущество в скорости решения было наибольшим среди команд с низким рейтингом и последовательно сокращалось с ростом уровня мастерства, снизившись с 3.2x среди всех участников до 1.69x в топ-5 процентах. На элитном уровне лучшая человеческая команда превзошла ведущую команду с ИИ по общему количеству решённых испытаний.

Уровень сложности определяет преимущество

Преимущество ИИ в производительности не было одинаковым для всех уровней сложности. Пик пришёлся на средний уровень, где обычно работают аналитики средней квалификации, после чего на самых сложных заданиях преимущество сократилось. Команды ИИ не смогли завершить три испытания вовсе. На самых лёгких заданиях скорость решения у команд ИИ более чем вдвое превышала человеческие показатели, что, согласно отчёту, представляет риск автоматизации для начальных ролей.

Скорость различается в зависимости от уровня мастерства

Среди всех команд, решавших задания, команды с ИИ в среднем были немного медленнее. Однако на элитном уровне картина резко изменилась. Лучшие команды с ИИ завершали испытания в несколько раз быстрее, чем их исключительно человеческие конкуренты, что сделало скорость самым явным операционным отличием на этом уровне.

Результаты сильно варьируются в зависимости от области

Разрыв в производительности варьировался примерно в три раза в зависимости от области безопасности. Наибольшее преимущество ИИ проявилось в структурированных и систематических областях, таких как Безопасное программирование и Блокчейн. Наименьший разрыв наблюдался в творческих областях, таких как Программирование и Реверс-инжиниринг, особенно среди элитных исполнителей, где две группы достигли почти паритета.

Преимущество ИИ сокращается с ростом человеческого опыта (Источник: Hack The Box)

Планирование персонала на различных уровнях карьеры

На начальном уровне показатели решения рутинных задач с помощью ИИ указывают на то, что стандартную работу аналитика можно автоматизировать с помощью существующих инструментов. Сотрудники начального уровня, использующие ИИ-инструменты, могут выдавать больше результатов, не развивая при этом базовых навыков для проверки этих результатов или управления агентами на более сложных проблемах. Автоматизация задач, исторически использовавшихся для обучения младших аналитиков, создает пробел в конвейере подготовки будущих старших специалистов.

На среднем уровне карьеры преимущество ИИ в задачах средней сложности является самым сильным среди всех уровней сложности и представляет наиболее выгодную цель для внедрения ИИ-инструментов. Прирост скорости на этом уровне накапливается во всех рабочих процессах реагирования на инциденты.

На элитном уровне ИИ выступает в роли мультипликатора скорости. Старшие специалисты сохраняют превосходство в решении самых трудных проблем. Объединение ведущих аналитиков с ИИ-помощниками и направление наиболее сложных инцидентов в команды под руководством человека позволяет сохранить это преимущество.

Последствия для операций безопасности

Организации, которые включают мультипликаторы производительности ИИ в моделирование угроз для "красных команд", смогут строить более реалистичные предположения о скорости и возможностях противника. Окна реагирования на инциденты и соглашения об уровне обслуживания, рассчитанные на сроки действий человека-атакующего, будут недооценивать угрозу со стороны противников, усиленных ИИ.

Внедрение ИИ-инструментов по доменам, начиная с категорий структурированной эксплуатации, дает более быструю отдачу, чем равномерный повсеместный запуск. В то же время сохранение и развитие старших операторов остается приоритетом. Нестандартное мышление при решении сложных проблем — это область, где человеческий опыт по-прежнему лидирует, и для поддержания этой способности требуются постоянные инвестиции в обучение на реальных задачах.