Когда ИИ-агенты совершают покупки, безопасность требует нового подхода

В этом интервью для Help Net Security Дональд Коссманн, технический директор финтех-компании Chargebacks911, рассказывает о возникающих рисках в сфере безопасности, мошенничества и управления, связанных с «агентной коммерцией», где ИИ-агенты могут автономно принимать решения о покупках от имени пользователей или организаций.

Он поясняет, что по мере того, как ИИ-агенты получают возможность совершать покупки, вести переговоры о ценах, выбирать поставщиков и самостоятельно проводить транзакции, традиционные представления о цифровой коммерции начинают рушиться.

Самое недооценённое предположение заключается в том, что технически авторизованная транзакция всегда будет отражать истинное намерение пользователя. Это в основном было верно для коммерции, основанной на кликах, но агентные системы ослабляют эту связь.

Когда ИИ-агенту разрешено действовать от имени клиента на постоянной основе, риск смещается от кражи учётных данных к «дрейфу намерения». Агент может работать в рамках своих разрешений, но при этом приводить к результатам, которых пользователь не ожидает или не принимает. С точки зрения платежей и споров это создаёт серую зону, для которой существующие меры контроля не были предназначены.

Отрасль по-прежнему сильно сосредоточена на безопасности доступа, в то время как более серьёзным возникающим риском является целостность принятия решений.

Делегирование в стиле OAuth — полезная отправная точка, но оно не было разработано для постоянно действующих коммерческих агентов с финансовыми полномочиями. Традиционный делегированный доступ предполагает относительно ограниченные действия, инициируемые пользователем.

Постоянные агенты вносят иные характеристики риска. Разрешения могут оставаться действительными ещё долго после изменения намерений пользователя. Агенты также могут работать с несколькими продавцами, сервисами и в разных временных горизонтах способами, которые исходная модель согласия не полностью предусматривала.

Вероятно, нам нужна эволюция, а не полная замена. Это включает более детальные, отзывные и контекстно-зависимые разрешения, более сильную проверяемость решений агента и более чёткие следы доказательств, которые показывают не только то, что было разрешено, но и то, как эти полномочия использовались с течением времени.

Предприятиям следует начать с четырёх обязательных условий.

Во-первых, строго ограниченные и привязанные ко времени разрешения. У агентов никогда не должно быть неограниченных полномочий на покупки. Лимиты расходов, контроль категорий, ограничения на поставщиков и условия истечения срока действия — всё должно быть чётко определено.

Во-вторых, полная прозрачность решений. Организациям необходимы подробные журналы, показывающие, почему агент выбрал поставщика, сменил продавца или провёл транзакцию.

В-третьих, возможность оперативного вмешательства человека. Если агент начинает действовать непредсказуемо, команды должны иметь возможность немедленно приостановить его работу или отозвать полномочия.

В-четвертых, надежная фиксация доказательств после транзакции. По мере возникновения споров и аудиторских проверок компаниям потребуется демонстрировать, что агенту было разрешено делать и что он фактически совершил.

Без этих механизмов контроля организации, по сути, расширяют финансовые полномочия, не распространяя на них систему управления.

Да, и этот риск по-прежнему недооценивают. Хорошо обученные агенты для покупок или закупок накапливают чрезвычайно богатые поведенческие данные, включая предпочтения в покупках, чувствительность к цене, отношения с поставщиками и временные паттерны. В больших масштабах эти данные приобретают коммерческую и операционную ценность. В случае компрометации такие агенты могут предоставить злоумышленникам информацию как об индивидуальном поведении, так и о стратегии закупок предприятия. Это вызывает обеспокоенность не только в отношении мошенничества, но и в сферах конкурентной разведки, социальной инженерии и целевого манипулирования.

По мере того как агенты становятся более способными и автономными, с точки зрения атакующего они будут все больше походить на высокоценные разведывательные активы.

Торговля между агентами вводит новый уровень непрозрачности. Когда транзакции совершают люди, существуют естественные точки трения, где видны намерение, согласие и идентичность. Взаимодействия автономных агентов сжимают или устраняют многие из этих контрольных точек.

С точки зрения конфиденциальности существует риск чрезмерного раскрытия данных между агентами, особенно если модели ведения переговоров, персонализации или динамического ценообразования требуют обмена поведенческими сигналами. Со временем это может позволить создавать более детальные профили, чем осознают пользователи или компании.

Ключевой вопрос — не просто защита данных в традиционном смысле, а вывод информации. Даже ограниченные сигналы, многократно передаваемые между агентами, могут раскрыть конфиденциальные паттерны о покупателях, организациях или стратегиях закупок.

Слой переговоров почти наверняка станет новой поверхностью для атак. Злоумышленники могут попытаться повлиять на ценовые сигналы, отравить обучающие данные, подделать атрибуты поставщиков или использовать логику оптимизации, чтобы направить агентов к неоптимальным или вредоносным контрагентам.

В отличие от традиционного мошенничества, эти атаки могут не нарушать очевидных правил. Вместо этого они могут тонко искажать среду принятия решений, на которую полагается агент. С точки зрения риска, опасность заключается в том, что транзакция по-прежнему выглядит полностью авторизованной и соответствующей политикам. Манипуляция происходит выше по течению, в логике принятия решений. Это ещё одна причина, по которой детальная проверяемость и объяснимость решений агента станут критически важными.

Организациям следует выйти за рамки традиционных анкет для поставщиков и сосредоточиться конкретно на управлении решениями. Ключевые области для изучения включают то, как поставщик определяет полномочия агента, как решения регистрируются и объясняются, как быстро можно отозвать полномочия и как платформа обнаруживает аномальное поведение агента. Также важно понимать, как поставщик отделяет поведение модели от коммерческих стимулов.

Если платформа не может чётко продемонстрировать, как она сохраняет намерение клиента на протяжении всего жизненного цикла транзакции, это является существенным сигналом риска.

Модели оценки рисков третьих сторон должны будут расшириться от доверия к организации до доверия к решениям. Исторически организации оценивали состояние безопасности организации-контрагента. В условиях коммерции с автономными агентами команды также должны оценивать поведение, полномочия и управление автономными системами, действующими от имени этой стороны.

Это означает включение телеметрии на уровне агента, более сильного контекста транзакций и более динамичного мониторинга в рамки оценки рисков третьих сторон. Это также означает подготовку к миру, где споры, вопросы ответственности и проверки безопасности всё чаще будут сосредоточены на том, как было принято автономное решение, а не только на том, кто инициировал отношения.

Подпишитесь на нашу рассылку экстренных новостей, чтобы никогда не пропускать последние утечки данных, уязвимости и киберугрозы. Подписаться можно здесь!