Axios сообщает, что руководители Anthropic, OpenAI и других ИИ-компаний моделируют масштабный инцидент с искусственным интеллектом и его политические последствия. По данным издания, отрасль хочет заранее подготовить американских законодателей к кризису и повлиять на регулирование, которое может за ним последовать. Вероятными триггерами называют крупную кибератаку, нарушающую работу финансовых сервисов, интернета или критической инфраструктуры, включая энергетику и воду. Другой вариант: группа автономных ИИ-агентов выходит из-под контроля во время внутренних испытаний либо злоумышленники находят неожиданный способ использовать доступные модели. Многие участники обсуждений считают крупный инцидент вероятным в ближайшие от 6 до 12 месяцев, однако это оценки источников, а не подтвержденный прогноз. Представитель OpenAI заявил, что компания проводит учения по разным сценариям, но не считает их неизбежными. Anthropic от комментариев отказалась.
Подготовка включает проработку наихудших сценариев и обсуждение того, как объяснить риски членам Конгресса США. Сейчас разработчики не ждут быстрого принятия новых ограничений, но хотят повлиять на законодательные решения после первого крупного инцидента. Реакция политиков может быть жесткой: обсуждают ограничения на разработку продвинутых ИИ-систем и даже временную приостановку отдельных исследований. Некоторые инициативы предполагают обязательный механизм отключения мощных моделей, хотя эксперты сомневаются, что так удастся остановить все работающие ИИ-системы. Ситуацию осложняет масштаб вложений в инфраструктуру ИИ: резкое замедление отрасли может ударить по экономике. Кроме того, открытые модели уже распространены по миру, поэтому даже ограничения для крупнейших разработчиков не исключат их использование злоумышленниками.
Беспокойство вызывают и реальные случаи применения ИИ в кибератаках. В отчете от 7 октября CrowdStrike описала кампанию против финансовых организаций Южной Кореи. Злоумышленник применял инструменты агентного тестирования на проникновение и несколько языковых моделей, данные были похищены. Среди материалов обнаружились сессии Claude Code, где атакующий искал способы продажи полученной информации. Эпизод не доказывает, что ИИ сам вызовет системную катастрофу, но показывает, как инструменты ускоряют злоумышленников и помогают проводить несколько атак за короткое время. Напомним, 29 сентября президент США Дональд Трамп и руководители шести крупных ИИ-компаний подписали добровольное соглашение о контроле за безопасностью передовых моделей.
Материал подготовлен исключительно в ознакомительно-информационных целях и не является финансовым советом и рекомендацией.