Cisco Abre el Código Fuente del Proyecto Quarry para Detectar Agentes de IA Fuera de Control

Cisco ha liberado el código de Project Quarry, un motor de detección de comportamiento que monitorea agentes de IA y ayuda a los equipos de seguridad a prevenir que los agentes se descontrolen, como se vio en la brecha de Hugging Face. El proyecto tiene como objetivo proporcionar un lenguaje común para evaluar el comportamiento de los agentes, similar a Snort, que también es compatible con Cisco, y YARA.

La mayoría de las herramientas de detección dependen de interacciones específicas con el modelo: si hubo un intento de inyectar un prompt o si el agente activó una herramienta de ataque. "Pero lo que falta es todo el contexto en el que algo podría ocurrir", dijo Amy Chang, jefa de investigación de amenazas y seguridad de IA en Cisco, en una entrevista con The Register. Lo comparó con la detección de fraude con tarjetas de crédito: un pequeño pago de prueba o una compra lejos de casa podría no levantar sospechas, pero una serie de tales transacciones es una señal. Quarry considera toda la sesión del agente: una invocación de herramienta parece permisible hasta que el siguiente paso envía datos a un servidor del atacante.

El robo de datos también es una secuencia. Invariant Labs demostró esto con un ataque a través de un manejo malicioso en un servidor MCP de GitHub: el agente de un usuario filtró datos de repositorios privados. "Una regla podría activarse cuando un archivo confidencial leído es visible en el rastro, seguido de un envío externo dentro de una ventana establecida", escriben Chang, Adam Swanda, Ravikumar Balakrishnan y Konstantin Berlin en una publicación de blog sobre Quarry.

Quarry cubre diálogos de una sola vez y de múltiples turnos con modelos, agentes, uso de herramientas, interacciones a través del Protocolo de Contexto del Modelo y datos de entrada multimodal. El repositorio de GitHub incluye instrucciones de instalación, versiones de Python compatibles, extensiones para Claude Code, Codex y otros agentes compatibles con MCP, ejemplos de configuración, una guía para escribir reglas y un conjunto inicial. Si una invocación de herramienta contiene código malicioso codificado en base-64, llevará a un bloqueo. El formato de las reglas se asemeja a YARA o Snort: un encabezado que describe el tráfico a verificar, contenido para coincidir y metadatos.

Los investigadores no han ejecutado Quarry en los datos del incidente de OpenAI y Hugging Face, pero sugieren que si la intrusión se leyera como un registro completo de una sola sesión, una regla podría haberse activado, por ejemplo, en el acceso a internet desde una sandbox a un servidor fuera de la lista permitida de la tarea o en credenciales encontradas utilizadas en otro lugar. Según el informe de OpenAI, el 10 de julio, un agente verificó 14 tokens expuestos de Hugging Face con permisos de escritura y los compartió.

Cisco enfatiza que las reglas no reemplazan el monitoreo de la cadena de razonamiento y la supervisión humana, pero ayudan a capturar un patrón que otros equipos pueden verificar y aplicar a sus agentes. "No tenemos todas las respuestas", dice Chang. "Todos vemos diferentes partes del problema, y es importante compartir lo que vemos."