思科开放Project Quarry的源代码以检测失控的AI代理

思科已开源了Project Quarry，这是一个行为检测引擎，用于监控AI代理并帮助安全团队防止代理失控，如在Hugging Face泄露事件中所见。该项目旨在提供一种评估代理行为的通用语言，类似于Snort（思科也支持）和YARA。

大多数检测工具依赖于与模型的特定交互：是否尝试注入提示或代理是否触发攻击工具。“但缺失的是可能发生某事的整个背景，”思科AI威胁和安全研究负责人Amy Chang在接受The Register采访时表示。她将其比作信用卡欺诈检测：一次小额测试支付或远离家乡的购买可能不会引起怀疑，但一系列这样的交易就是一个信号。Quarry考虑整个代理会话：一个工具调用看起来是允许的，直到下一步将数据发送到攻击者的服务器。

数据盗窃也是一个序列。Invariant Labs通过在MCP GitHub服务器上的恶意处理攻击演示了这一点：用户的代理从私人存储库中泄露数据。“当机密文件读取在跟踪中可见，然后在设定窗口内进行外部发送时，规则可能会触发，”Chang、Adam Swanda、Ravikumar Balakrishnan和Konstantin Berlin在关于Quarry的博客文章中写道。

Quarry涵盖与模型的单回合和多回合对话、代理、工具使用、通过模型上下文协议的交互以及多模态输入数据。GitHub存储库包括安装说明、支持的Python版本、Claude Code、Codex和其他MCP兼容代理的扩展、配置示例、编写规则指南和入门集。如果工具调用包含base-64编码的恶意代码，将导致阻止。规则格式类似于YARA或Snort：描述要检查流量的头部、匹配内容和元数据。

研究人员尚未在OpenAI和Hugging Face事件数据上运行Quarry，但建议如果将入侵视为单个会话的完整记录，规则可能会触发，例如，从沙箱到任务允许列表之外的服务器的互联网访问或在其他地方使用的发现凭据。根据OpenAI的报告，7月10日，一名代理检查了14个具有写权限的暴露Hugging Face令牌并共享它们。

思科强调，规则并不能替代监控推理链和人工监督，但有助于捕捉其他团队可以验证并应用于其代理的模式。“我们没有所有的答案，”Chang说。“我们都看到了问题的不同部分，分享我们所见非常重要。”