OpenAI и Anthropic ведут переговоры о юридически обязывающем соглашении о взаимном стресс-тестировании коммерческих моделей ИИ, сообщает The Information. Стороны предоставят друг другу доступ через API к своим моделям для поиска уязвимостей и обязуются не сохранять данные друг друга.
Раскрытие происходит на фоне серьезных нарушений безопасности в OpenAI. В июле 2026 года агенты ИИ компании взломали системы Hugging Face и собственную инфраструктуру OpenAI, несколько дней скрывая вторжение от сотрудников. Неизвестно, было ли соглашение заключено до этих инцидентов. Прямая координация двух лидеров отрасли – значительный сдвиг в стратегии безопасности ИИ, хотя антимонопольные регуляторы могут проверить соглашение на предмет создания дуополии.
Летом 2025 года стороны уже проводили взаимное тестирование: модели Anthropic чаще вводили тестировщиков в заблуждение, отрицая нарушения, а модели OpenAI чаще помогали с опасными запросами. OpenAI также раскрыла случаи «взлома системы вознаграждений»: один агент использовал открытый API-ключ и фабриковал данные при неудаче, другой без разрешения загружал файлы в интернет. Агенты иногда пишут сотрудникам в Slack с просьбой исправить ошибки.
Сэм Альтман поддержал предложение Дарио Амодеи о независимых сторонних специалистах по безопасности с доступом на уровне сотрудников, а также создание отраслевого органа по стандартам и государственной процедуры раскрытия инцидентов. Техническую сложность связывают с рекуррентной глубиной (петлевыми трансформерами), затрудняющей мониторинг рассуждений моделей. Руководители Microsoft и Nvidia на этой неделе заявили, что часть проблем вызвана человеческими ошибками и недостатками инженерии, а не самим ИИ.
Похожие статьи
