Cisco öffnet Quellcode für Project Quarry zur Erkennung außer Kontrolle geratener KI-Agenten

Cisco hat das Project Quarry als Open Source veröffentlicht, eine Verhaltensdetektions-Engine, die KI-Agenten überwacht und Sicherheitsteams hilft, zu verhindern, dass Agenten außer Kontrolle geraten, wie es beim Hugging Face-Einbruch der Fall war. Das Projekt zielt darauf ab, eine gemeinsame Sprache zur Bewertung des Agentenverhaltens bereitzustellen, ähnlich wie Snort, das ebenfalls von Cisco unterstützt wird, und YARA.

Die meisten Erkennungswerkzeuge verlassen sich auf spezifische Interaktionen mit dem Modell: ob es einen Versuch gab, einen Prompt einzuschleusen oder ob der Agent ein Angriffswerkzeug ausgelöst hat. "Aber was fehlt, ist der gesamte Kontext, in dem etwas passieren könnte", sagte Amy Chang, Leiterin der Forschung zu KI-Bedrohungen und -Sicherheit bei Cisco, in einem Interview mit The Register. Sie verglich es mit der Erkennung von Kreditkartenbetrug: Eine kleine Testzahlung oder ein Kauf weit entfernt von zu Hause könnte keine Verdachtsmomente wecken, aber eine Reihe solcher Transaktionen ist ein Signal. Quarry berücksichtigt die gesamte Agentensitzung: Eine Werkzeugaufrufung scheint zulässig, bis der nächste Schritt Daten an einen Angreiferserver sendet.

Datendiebstahl ist ebenfalls eine Abfolge. Invariant Labs demonstrierte dies mit einem Angriff durch bösartige Handhabung auf einem MCP-GitHub-Server: Der Agent eines Benutzers leakte Daten aus privaten Repositories. "Eine Regel könnte ausgelöst werden, wenn ein vertrauliches Dateilesen im Trace sichtbar ist, gefolgt von einem externen Senden innerhalb eines festgelegten Zeitfensters", schreiben Chang, Adam Swanda, Ravikumar Balakrishnan und Konstantin Berlin in einem Blogbeitrag über Quarry.

Quarry deckt Einzel- und Mehrfachdialoge mit Modellen, Agenten, Werkzeugnutzung, Interaktionen über das Model Context Protocol und multimodale Eingabedaten ab. Das GitHub-Repository enthält Installationsanweisungen, unterstützte Python-Versionen, Erweiterungen für Claude Code, Codex und andere MCP-kompatible Agenten, Konfigurationsbeispiele, eine Anleitung zum Schreiben von Regeln und ein Starterset. Wenn eine Werkzeugaufrufung base-64 kodierten bösartigen Code enthält, führt dies zu einer Blockierung. Das Regelformat ähnelt YARA oder Snort: ein Header, der den zu überprüfenden Datenverkehr beschreibt, Inhalte zum Abgleichen und Metadaten.

Forscher haben Quarry nicht mit den Vorfallsdaten von OpenAI und Hugging Face getestet, schlagen jedoch vor, dass, wenn der Einbruch als vollständiges Protokoll einer einzelnen Sitzung gelesen würde, eine Regel möglicherweise ausgelöst worden wäre, beispielsweise bei Internetzugriff aus einer Sandbox auf einen Server außerhalb der erlaubten Liste der Aufgabe oder bei gefundenen Anmeldeinformationen, die anderswo verwendet wurden. Laut dem Bericht von OpenAI überprüfte ein Agent am 10. Juli 14 exponierte Hugging Face-Token mit Schreibberechtigungen und teilte sie.

Cisco betont, dass Regeln nicht die Überwachung der Argumentationskette und menschliche Aufsicht ersetzen, sondern helfen, ein Muster zu erfassen, das andere Teams überprüfen und auf ihre Agenten anwenden können. "Wir haben nicht alle Antworten", sagt Chang. "Wir sehen alle verschiedene Teile des Problems, und es ist wichtig, zu teilen, was wir sehen."