Институт Anthropic: изучение долгосрочных угроз ИИ для общества

Компания Anthropic учредила Исследовательский институт Anthropic — подразделение, занимающееся изучением влияния ИИ на общество и разработкой политических мер для противодействия рискам, связанным с более совершенными системами.

«За пять лет с момента основания Anthropic прогресс в области искусственного интеллекта развивался невероятно быстро. Нам потребовалось два года, чтобы выпустить первую коммерческую модель, и всего три года, чтобы создать системы, способные обнаруживать серьёзные уязвимости в кибербезопасности, выполнять широкий спектр реальных задач и даже ускорять темпы развития самого ИИ», — заявила компания в своём объявлении.

Anthropic прогнозирует, что в ближайшие два года последуют ещё более впечатляющие достижения.

Компания полагает, что стремительное развитие искусственного интеллекта заставит правительства и отрасли промышленности искать ответы на сложные вопросы о рабочих местах, экономических потрясениях и управлении системами. Это также вызывает опасения относительно того, как ИИ-системы выражают ценности, каким образом устанавливаются эти стандарты и как следует контролировать и регулировать будущие самообучающиеся системы.

Цель института — делиться полученными знаниями об этих проблемах по мере разработки передовых систем ИИ и сотрудничать с внешними партнёрами для устранения возникающих рисков.

Институтом будут руководить эксперты, а поддерживать его будет команда инженеров по машинному обучению, экономистов и социологов из Anthropic. Он создан на основе нескольких существующих исследовательских групп, специализирующихся на тестировании ИИ-систем, их внедрении в реальных условиях и оценке экономического воздействия, с особым акцентом на создание новых команд.

«Институт обладает уникальной точкой зрения, имея доступ к информации, доступной только создателям передовых систем ИИ. Он будет использовать эту позицию, чтобы открыто сообщать о полученных знаниях в процессе разработки технологии», — отметила компания.

Он также будет взаимодействовать с работниками, чьи профессии находятся под угрозой исчезновения, с затронутыми отраслями и сообществами, которые пытаются адаптироваться к технологическим изменениям.

В последние недели Anthropic оказалась в центре общественного внимания после того, как правительство США приостановило использование её инструментов ИИ в государственных учреждениях. Компания подала иск, оспаривая своё обозначение как источника риска для цепочек поставок.