Риски внедрения промптов: как генеративный ИИ входит в повседневную работу госорганов

Повседневное использование генеративного ИИ прочно вошло в операционную деятельность государственных и территориальных органов власти, что привнесло новые угрозы безопасности в стандартные рабочие процессы.

Отчёт Центра безопасности интернета (CIS) «Инъекции промптов: неотъемлемая угроза для генеративного ИИ» определяет инъекцию промптов как постоянную проблему, связанную с этим внедрением.

Внедрение расширяет зону риска

Использование инструментов ИИ возросло в ИТ-командах государственных учреждений. Опрос NASCIO 2025 года среди 51 руководителя ИТ-департаментов штатов и территорий показал, что 82% сообщили об использовании сотрудниками генеративного ИИ в ежедневной работе, по сравнению с 53% в предыдущем году.

Большинство организаций вышли за рамки первоначального тестирования, уже внедрив широкомасштабные пилотные программы, опытные образцы и обучение сотрудников. Искусственный интеллект, генеративный ИИ и агентный ИИ заняли первое место в списке политических и технологических приоритетов на 2026 год.

Эти инструменты помогают в таких задачах, как обобщение документов, ответы на электронные письма, написание кода и управление расписанием.

«Инструменты генеративного ИИ часто имеют привилегированный доступ к системам и данным, что повышает их операционную ценность, но также делает их привлекательными целями для злоумышленников», — отметили исследователи.

Поведение модели создаёт брешь в безопасности

Инъекции промптов документированы более десяти лет, и исследования прослеживают их до 2013 года. Целевое обучение может улучшить реакцию моделей на такие атаки, но исследования показывают, что одного обучения недостаточно для надёжной защиты.

Основная слабость заключается в том, как языковые модели обрабатывают ввод. В отчёте отмечается, что большие языковые модели не разделяют инструкции и другие данные. Модель может обработать встроенные вредоносные инструкции так же, как обычный запрос.

Такое поведение позволяет осуществлять два типа инъекций промптов. Прямая инъекция промпта происходит при непосредственном взаимодействии с моделью, включая попытки обойти защитные механизмы.

Косвенная инъекция промпта помещает вредоносные инструкции во внешний контент, такой как веб-страницы, электронные письма или документы, которые системы ИИ впоследствии извлекают и обрабатывают.

«Инъекции промптов могут отравлять базы данных агентных систем генеративного ИИ, позволяя атаке сохраняться в разных пользовательских сессиях и использоваться другими приложениями, а также отравлять внешние хранилища данных, на которые ссылается экосистема генеративного ИИ, например, облачные хранилища и почтовые ящики. Если приложениям генеративного ИИ разрешено выполнять код, то ими можно манипулировать для его удалённого выполнения от имени злоумышленников», — предупреждают авторы.

OWASP определила инъекцию промптов как главную категорию риска для приложений на основе GenAI и больших языковых моделей.

Примеры демонстрируют развитие атак

Несколько сценариев на практике показывают, как инъекция промптов может распространяться по связанным ИИ-системам и приложениям.

Один пример включает ИИ-агента, сканирующего веб-страницу. Скрытые инструкции, внедрённые в разметку, метаданные или отображаемый контент, могут направить агента на сбор и передачу конфиденциальных данных. В демонстрации помощник по написанию кода на основе GenAI обработал инструкции, скрытые на странице документации, и отправил фрагменты кода вместе с данными AWS API-ключа на внешний URL. Сервис-получатель был разрешён в настройках Antigravity по умолчанию.

Другой случай касался обновления расширения Amazon Q для Visual Studio Code в июле 2025 года. Обновление внедрило промпт, который инструктировал ИИ-агента удалять не скрытые файлы, останавливать AWS-серверы и стирать облачные данные. AWS выпустила исправление через два дня после обновления и опубликовала бюллетень безопасности.

Червь Morris II демонстрирует, как инъекция промптов может распространяться по системам. Вредоносный промпт, внедрённый в электронное письмо, попал в базу данных с расширенной генерацией через ИИ-помощника для почты. Затем помощник сгенерировал дополнительные письма, содержащие тот же вредоносный промпт вместе с конфиденциальной информацией.

Дело GeminiJack включало вредоносные инструкции, внедрённые в корпоративные источники данных, такие как Google Документы или записи календаря. При извлечении через поиск эти инструкции запускали утечку данных на внешнюю инфраструктуру. Позже Google отделил Vertex AI Search от Gemini Enterprise для решения проблемы.

Меры контроля сосредоточены на ограничении доступа и надзоре

Организациям рекомендуется определять политики допустимого использования ИИ-инструментов и проводить обучение пользователей по работе с конфиденциальными данными и распознаванию вредоносных промптов.

Другие меры включают отслеживание того, к каким системам и данным имеют доступ ИИ-платформы, применение принципа наименьших привилегий и требование одобрения человеком перед действиями, затрагивающими конфиденциальные данные или выполнение кода. Регулярная проверка логов также помогает выявлять необычное поведение.