Последние две недели ознаменовались противостоянием между генеральным директором Anthropic Дарио Амодеи и министром обороны Питом Хегсетом в споре о применении искусственного интеллекта военными.
Anthropic отказывается разрешить использование своих ИИ-моделей для тотальной слежки за американцами или для полностью автономного оружия, наносящего удары без участия человека. В то же время министр Хегсет заявляет, что Министерство обороны не должно быть ограничено правилами поставщика, утверждая, что любое «законное применение» технологии должно быть разрешено.
В четверг Амодеи публично дал понять, что Anthropic не отступает — несмотря на угрозы, что его компания может быть признана риском для цепочки поставок. Но в условиях быстро меняющегося информационного поля стоит заново взглянуть на суть этого конфликта.
В своей основе этот спор — о том, кто контролирует мощные системы ИИ: компании, которые их создают, или правительство, которое хочет их применять.
Чего опасается Anthropic?
Как уже было сказано, Anthropic не хочет, чтобы её ИИ-модели использовались для массовой слежки за американцами или для автономного оружия, где человек исключён из цикла принятия решений о цели и открытии огня. Обычные оборонные подрядчики, как правило, мало влияют на то, как будут использоваться их продукты, но Anthropic с самого начала утверждает, что технология ИИ несёт уникальные риски и поэтому требует особых мер защиты. С точки зрения компании, вопрос в том, как сохранить эти гарантии, когда технологию использует военное ведомство.
Американские военные уже полагаются на высокоавтоматизированные системы, некоторые из которых являются летальными. Исторически решение о применении смертоносной силы оставалось за человеком, но правовых ограничений на военное использование автономного оружия почти нет. Минобороны США не налагает категорического запрета на полностью автономные системы вооружений. Согласно директиве Пентагона 2023 года, системы ИИ могут выбирать и поражать цели без вмешательства человека, при условии соответствия определённым стандартам и прохождения проверки старшими должностными лицами.
Именно это и вызывает опасения у Anthropic. Военные технологии по своей природе секретны, поэтому если бы американские военные предпринимали шаги по автоматизации принятия смертоносных решений, мы могли бы не узнать об этом до момента ввода системы в эксплуатацию. И если бы при этом использовались модели Anthropic, это могло бы считаться «законным применением».
Позиция Anthropic заключается не в том, что подобное применение технологий должно быть навсегда исключено. Дело в том, что их модели пока недостаточно развиты, чтобы обеспечивать его безопасность. Представьте себе автономную систему, которая ошибочно идентифицирует цель, эскалирует конфликт без санкции человека или принимает необратимое смертоносное решение за доли секунды. Поручите менее совершенному ИИ управление оружием, и вы получите очень быструю, очень самоуверенную машину, которая плохо справляется с решениями, имеющими высокие ставки.
ИИ также обладает потенциалом до опасной степени усилить законный надзор за гражданами США. По действующему законодательству США наблюдение за американскими гражданами уже возможно, будь то сбор текстовых сообщений, электронных писем и других коммуникаций. ИИ меняет уравнение, позволяя осуществлять автоматизированное выявление паттернов в крупных масштабах, сопоставление сущностей в различных наборах данных, прогнозную оценку рисков и непрерывный поведенческий анализ.
Чего хочет Пентагон?
Аргумент Пентагона заключается в том, что он должен иметь возможность развертывать технологии Anthropic для любых законных целей, которые сочтет необходимыми, а не быть ограниченным внутренней политикой компании в отношении таких вопросов, как автономное оружие или слежка.
Если конкретнее, министр Хегсет утверждал, что Министерство обороны не должно быть связано правилами поставщика и что оно будет осуществлять «законное использование» этой технологии.
Шон Парнелл, главный пресс-секретарь Пентагона, заявил в публикации в X в четверг, что у ведомства нет интереса к проведению массовой внутренней слежки или развертыванию автономного оружия.
«Вот чего мы просим: разрешить Пентагону использовать модель Anthropic для всех законных целей, — сказал Парнелл. — Это простая, разумная просьба, которая не позволит Anthropic ставить под угрозу критически важные военные операции и потенциально подвергать риску наших военнослужащих. Мы не позволим НИ ОДНОЙ компании диктовать условия того, как мы принимаем операционные решения».
Он добавил, что у Anthropic есть время до 17:01 по восточному времени в пятницу, чтобы принять решение. «В противном случае мы расторгнем наше партнерство с Anthropic и признаем их риском для цепочки поставок Министерства обороны», — заявил он.
Несмотря на позицию Министерства обороны о том, что его действия не должны ограничиваться корпоративными правилами использования, опасения министра Хегсета относительно компании Anthropic зачастую, по всей видимости, связаны с культурными разногласиями. В своей речи в офисах SpaceX и xAI в январе Хегсет обрушился с критикой на «проснувшийся искусственный интеллект», и некоторые увидели в этом выступлении предвестие его конфликта с Anthropic.
«Искусственный интеллект Военного ведомства не будет "проснувшимся"», — заявил Хегсет. «Мы создаём боевые системы и вооружения, а не чат-ботов для профессорской гостиной в университете Лиги плюща».
Что же дальше?
Пентагон пригрозил либо объявить Anthropic «риском для цепочки поставок» — что фактически означает чёрную метку для компании в работе с правительством — либо применить Закон о производстве в интересах обороны, чтобы заставить компанию адаптировать свою модель под нужды военных. Хегсет дал Anthropic срок до 17:01 в пятницу, чтобы дать ответ. Но по мере приближения дедлайна остаётся только гадать, выполнит ли Пентагон свою угрозу.
Это противостояние, из которого ни одна из сторон не может легко выйти. Сачин Сет, венчурный капиталист из Trousdale Ventures, специализирующийся на оборонных технологиях, заявляет, что ярлык риска для цепочек поставок для Anthropic может означать для компании «конец игры».
Однако, по его словам, если Министерство обороны откажется от Anthropic, это может стать проблемой национальной безопасности.
«[Ведомству] пришлось бы ждать от шести до двенадцати месяцев, пока OpenAI или xAI догонят», — сказал Сет TechCrunch. «Это создаёт окно длиной до года, в течение которого им, возможно, придётся работать не с лучшей моделью, а со второй или третьей по качеству».
Компания xAI готовится получить допуск для работы с секретными данными и заменить Anthropic, и, учитывая риторику её владельца Илона Маска по этому вопросу, можно с уверенностью сказать, что у компании не возникнет проблем с предоставлением Министерству обороны полного контроля над своей технологией. Согласно последним сообщениям, OpenAI, возможно, будет придерживаться тех же принципиальных границ, что и Anthropic.
