Сильные и слабые стороны охоты за "аурой" в расследовании угроз ИИ

В этом интервью для Help Net Security Акса Тейлор, главный евангелист безопасности в Exaforce, объясняет концепцию «охоты по ощущениям» — подход к обнаружению угроз на основе ИИ, который переворачивает традиционные методы, основанные на гипотезах.

Вместо того чтобы аналитики заранее определяли векторы атак, искусственный интеллект сканирует наборы данных на предмет аномальных паттернов и выявляет потенциальные угрозы. Тейлор проводит чёткую границу ответственности: аналитики должны уметь объяснить свои рассуждения. Если они не могут, значит, охотой управляет ИИ. Она также затрагивает вопросы обогащения данных, развития начинающих аналитиков и типичные ошибки, возникающие, когда команды слепо следуют выводам ИИ, не подвергая их сомнению.

Охота на основе гипотез по-прежнему применима, но меняется процесс валидации для их подтверждения. Например, аналитик предполагает, что злоумышленник, получивший первоначальный доступ через скомпрометированную учётную запись, использует действие CreateAccessKey для закрепления в системе. Затем аналитик начинает искать доказательства, подтверждающие эту гипотезу. Сама гипотеза понятна. Её можно критиковать, анализировать, уточнять, документировать и оценивать количественно.

В случае же «охоты по ощущениям» всё немного иначе. Вы слегка меняете подход. Вы позволяете ИИ находить паттерны в имеющемся наборе данных. Конкретно, если ИИ или языковая модель обучены на защищённых данных и сфокусированы на анализе безопасности, вы просите их искать паттерны внутри этих данных. На основе этих паттернов модель затем определяет то, что считает вредоносным или аномальным.

Другими словами, при охоте на основе гипотез у вас есть определённый набор гипотез и векторов атак, которые вы ищете, полагая, что они могут быть применимы в данной среде. Ваша цель — проверить, применимы ли они.

При «охоте по ощущениям» подход иной. Вы рассматриваете весь набор данных и спрашиваете языковую модель: «Что может быть применимо в этом конкретном случае? Что может быть потенциальным вектором атаки? Есть ли здесь что-то, что не вписывается в набор данных?» Таким образом, вы переворачиваете традиционный подход к охоте, делая гипотезу неявной, а не явной.

Это сложный вопрос, потому что в некоторых случаях охота может начинаться с самого ИИ. Искусственный интеллект может пометить или идентифицировать активность, которую считает вредоносной, на основе паттернов, о которых аналитик, инженер или охотник могут не знать. В этой ситуации ИИ фактически задаёт первоначальное направление охоты.

По мере развития процесса аналитик или специалист по обнаружению начинает формировать контекст и понимать суть происходящего. В этот момент он вносит собственные умозаключения и использует ИИ для ускорения расследования, а не для его определения.

Где же провести черту, и кто несёт ответственность, если её переступить?

Черта проводится там, где аналитик больше не может объяснить своими словами, почему он следует определённому направлению расследования. Если он не способен сформулировать логику, стоящую за поиском, значит, он больше им не управляет. Это делает ИИ.

Ответственность следует той же границе. Аналитик отвечает за процесс, когда он руководит логикой и использует ИИ как инструмент для повышения скорости. Если же он перекладывает эту логику на ИИ и не может самостоятельно обосновать выбранный путь, то, по сути, расследованием управляет ИИ, хотя формальная ответственность по-прежнему лежит на человеке.

Обогащение данными — это традиционно этап, на котором расследования замедляются, поскольку такой контекст обычно недоступен в структурированном или легкодоступном виде. Ключ к решению — не только в более совершенных моделях, но и в лучшем контексте.

Моделям ИИ необходимо работать на основе графа знаний, созданного из институционального опыта, и превращать его в структурированный, доступный для запросов слой. Это включает бизнес-контекст, соответствия владельцев и операционные шаблоны. Что ещё важнее, требуется семантический контекстный слой, который отображает идентификаторы, роли, ресурсы и их взаимосвязи во всей среде. Этот семантический слой также должен включать историческое базовое профилирование, чтобы система понимала, что является «нормальным» для конкретной идентификации с течением времени.

Когда это достигнуто, ИИ анализирует богатый граф взаимосвязей и историю поведения. Событие CreateAccessKey перестаёт быть просто вызовом API. Оно становится действием, выполненным конкретной идентификацией в рамках известной роли, привязанной к определённым ресурсам, и сравнивается с её историческим поведением и шаблонами действий схожих субъектов.

На этом этапе обогащение данными становится значительно эффективнее. ИИ может делать контекстно-зависимые выводы, которые гораздо ближе к тому, что сделал бы опытный аналитик. Он не заменяет эту экспертизу, а позволяет применять её в оперативном режиме и в больших масштабах.

Я не рассматриваю интуитивный поиск как замену знаниям, полученным "с нуля". Я вижу в нём способ возвысить и масштабировать этот опыт гораздо быстрее. Вместо того чтобы тратить часы на просеивание информационного шума в поисках нужных сигналов, аналитики тратят своё время на оценку того, позволит ли представленный им анализ принять верное решение.

Они концентрируются на эффективном расследовании и принятии верных суждений. Это включает постановку правильных вопросов, обеспечение включения релевантных сигналов в контекст и следование по пути расследования, которым пошёл бы опытный аналитик, быстро привлекая институционализированные знания по мере необходимости, обучаясь на каждом шаге и пользуясь объяснимостью, которую обеспечивает правильная модель ИИ.

Провальная реализация интуитивного поиска проявляется, когда аналитики перестают мыслить критически и начинают полагаться на ИИ, который ведёт расследование от начала до конца. Вместо формирования гипотез или постановки конкретных вопросов они просто дают запрос модели и следуют по любым наводкам, которые она выдаёт.

В этот момент поиск становится управляемым ИИ, а не ведомым аналитиком. Аналитики преследуют шаблоны, отмеченные моделью, не подвергая их сомнению. Они не проверяют данные, не изучают контекст и не задают базовых вопросов: почему шаблон подозрителен, откуда взялся сигнал, основан ли он на реальных данных или это ошибка модели.

Это создаёт ложное ощущение продуктивности. Команды могут казаться более активными в проведении расследований, но эти расследования не приводят к значимым результатам. Вместо повышения качества обнаружения они генерируют шум и поверхностные выводы. Именно здесь возникает ложная уверенность.

Существуют предупреждающие признаки того, что вы находитесь в этом режиме неудачи.

Один из признаков — аналитики тратят большую часть времени на закрытие сгенерированных ИИ наводок, а не на их разработку или уточнение. Отчёты о расследованиях становятся сводками того, что предложил ИИ, а не того, к чему пришёл аналитик. В них отсутствует логика рассуждений. Нет объяснений, что было проверено и почему.

Другой признак — аналитики не могут объяснить модель угрозы, лежащую в основе расследования. Если они не могут ответить, что они пытаются подтвердить или почему был выбран тот или иной путь, значит, расследование не основано на конкретном замысле. Это просто следование по следу.

Третий признак — это утрата доверия внутри команды. Старшие аналитики начинают вручную перепроверять результаты расследований, поскольку не доверяют выводам искусственного интеллекта. В то же время они ставят под сомнение качество работы младших аналитиков, которые чрезмерно полагаются на модель.

На практике неудачная реализация не снижает трудозатрат и не углубляет понимание. Она подменяет критическое мышление автоматизацией и порождает больше активности, но меньше осмысленности.