Обзор: Атаки, защита и стратегии противодействия враждебному ИИ

Книга «Враждебные атаки ИИ, меры противодействия и стратегии защиты» демонстрирует, как можно атаковать системы искусственного интеллекта и как к этому подготовиться. По сути, это подробный обзор наступательных и оборонительных подходов к безопасности ИИ.

Об авторе

Джон Сотиропулос возглавляет направление безопасности ИИ в компании Kainos. Будучи соавтором рейтинга OWASP Top 10 для LLM-приложений и проекта OWASP AI Exchange, он координирует взаимодействие с другими организациями по стандартизации и национальными агентствами кибербезопасности. Также он представляет OWASP в Консорциуме Института безопасности ИИ США.

О чём эта книга

Книга начинается с введения в машинное обучение. Хотя многие руководители не будут создавать модели самостоятельно, первые главы закладывают основу для понимания принципов построения таких систем и их уязвимых мест. Ключевые концепции, такие как обучение с учителем, тренировка моделей и нейронные сети, объясняются простым языком, после чего автор переходит к вопросам безопасности. Эта база знаний крайне важна для директоров по информационной безопасности, которым необходимо оценивать заявления поставщиков или понимать ограничения развёртываемых решений.

Следующие разделы носят более практический характер: в них подробно рассматривается настройка среды, создание простых моделей и последующие атаки на них с использованием враждебных методик. Примерами таких атак являются отравление данных, внедрение бэкдоров и манипуляции с кодом модели. Эти сценарии технически сложны, но их включение наглядно показывает, насколько легко уязвимости могут проникнуть в конвейер машинного обучения.

Наибольшую практическую ценность для руководителей в области безопасности представляет раздел, посвящённый защите. Автор описывает стратегии противодействия для каждого типа атак: от обнаружения аномалий и обучения на враждебных примерах до защиты цепочки поставок и отслеживания происхождения моделей. В последующих главах рассматриваются корпоративные темы, такие как MLSecOps, моделирование угроз для систем ИИ и подходы «безопасность по умолчанию». Эти главы убедительно доказывают, что безопасность ИИ нельзя добавить постфактум. Её необходимо встраивать в процессы разработки и эксплуатации, обеспечивая управление и тестирование, соответствующие зрелым практикам безопасности.

Книга также затрагивает вопросы оружизации генеративно-состязательных сетей для создания дипфейков и дезинформации, а также уязвимости больших языковых моделей к инъекциям промптов и отравлению. Эти обсуждения весьма своевременны. Многие организации экспериментируют с генеративным ИИ, и приведённые примеры помогут директорам по безопасности доходчиво объяснить связанные риски советам директоров и бизнес-подразделениям.

Для кого предназначено?

В целом, "Атаки на ИИ, меры противодействия и стратегии защиты" — это серьёзный справочник для тех, кто отвечает за безопасность систем искусственного интеллекта. Он предлагает практические примеры и стратегические подходы, предоставляя руководителям служб безопасности необходимую основу для постановки правильных вопросов и направления своих организаций к более безопасному внедрению ИИ.