Cisco открыла код Project Quarry для обнаружения вышедших из-под контроля ИИ-агентов

Cisco открыла исходный код Project Quarry – движка поведенческого обнаружения, который следит за ИИ-агентами и помогает командам безопасности не дать агентам выйти из-под контроля, как при взломе Hugging Face. Проект должен дать общий язык для оценки поведения агентов – по аналогии со Snort, который также поддерживает Cisco, и YARA.

Большинство инструментов обнаружения опираются на конкретные взаимодействия с моделью: была ли попытка внедрения промпта, вызвал ли агент инструмент атаки. «Но чего не хватает, так это всего контекста, в котором что-то может произойти», – сказала Эми Чанг, глава исследований угроз и безопасности ИИ в Cisco, в интервью The Register. Она сравнила это с обнаружением мошенничества с картами: небольшой пробный платеж или покупка далеко от дома могут не вызвать подозрений, но серия таких операций – уже сигнал. Quarry учитывает всю сессию агента: один вызов инструмента выглядит допустимым, пока следующий шаг не отправляет данные на сервер атакующего.

Кража данных – тоже последовательность. Invariant Labs показала это на атаке через вредоносное обращение на сервере MCP GitHub: агент пользователя утек данные из приватных репозиториев. «Правило может дать срабатывание, когда в трассировке видно чтение конфиденциального файла, а в течение заданного окна – внешняя отправка», – пишут Чанг, Адам Сванда, Равикумар Балакришнан и Константин Берлин в блоге о Quarry.

Quarry покрывает одно- и многоходовые диалоги с моделями, агентов, использование инструментов, взаимодействия по Model Context Protocol и мультимодальные входные данные. В репозитории на GitHub есть инструкции по установке, поддерживаемые версии Python, расширения для Claude Code, Codex и других MCP-совместимых агентов, примеры конфигураций, руководство по написанию правил и стартовый набор. Если в вызове инструмента есть закодированный в base-64 вредоносный код, это приведет к блокировке. Формат правил похож на YARA или Snort: заголовок с описанием проверяемого трафика, содержимое для сопоставления и метаданные.

Исследователи не прогоняли Quarry по данным инцидента OpenAI и Hugging Face, но предполагают: если читать вторжение как полную запись одной сессии, правило сработало бы, например, на интернет-доступ из песочницы к серверу вне разрешенного списка задачи или на найденные учетные данные, использованные в другом месте. По отчету OpenAI, 10 июля агент проверил 14 раскрытых токенов Hugging Face с правом записи и поделился ими.

Cisco подчеркивает, что правила не заменяют мониторинг цепочки рассуждений и человеческий надзор, но помогают зафиксировать паттерн, который другие команды могут проверить и применить к своим агентам. «У нас нет всех ответов, – говорит Чанг. – Мы все видим отдельные участки проблемы, и важно делиться тем, что видим».