Cisco, 제어 불능 AI 에이전트를 탐지하기 위한 Project Quarry의 소스 코드를 공개하다

Cisco는 AI 에이전트를 모니터링하고 보안 팀이 에이전트가 악의적으로 행동하는 것을 방지할 수 있도록 돕는 행동 감지 엔진인 Project Quarry를 오픈 소스로 공개했습니다. 이 프로젝트는 Cisco가 지원하는 Snort 및 YARA와 유사하게 에이전트 행동을 평가하기 위한 공통 언어를 제공하는 것을 목표로 하고 있습니다.

대부분의 감지 도구는 모델과의 특정 상호작용에 의존합니다: 프롬프트 주입 시도가 있었는지, 에이전트가 공격 도구를 트리거했는지 여부 등입니다. "하지만 누락된 것은 무언가가 발생할 수 있는 전체 문맥입니다,"라고 Cisco의 AI 위협 및 보안 연구 책임자인 Amy Chang이 The Register와의 인터뷰에서 말했습니다. 그녀는 이를 신용카드 사기 감지에 비유했습니다: 작은 테스트 결제나 집에서 멀리 떨어진 곳에서의 구매는 의심을 불러일으키지 않을 수 있지만, 그러한 거래의 연속은 신호가 됩니다. Quarry는 전체 에이전트 세션을 고려합니다: 하나의 도구 호출은 허용 가능해 보이지만 다음 단계에서 공격자의 서버로 데이터를 전송하면 문제가 됩니다.

데이터 도난도 연속적인 과정입니다. Invariant Labs는 MCP GitHub 서버에서 악의적인 처리로 인한 공격을 통해 이를 입증했습니다: 사용자의 에이전트가 개인 저장소에서 데이터를 유출했습니다. "기밀 파일 읽기가 추적에서 보이고, 설정된 시간 내에 외부 전송이 뒤따를 때 규칙이 트리거될 수 있습니다,"라고 Chang, Adam Swanda, Ravikumar Balakrishnan, Konstantin Berlin이 Quarry에 관한 블로그 게시물에서 썼습니다.

Quarry는 모델과의 단일 및 다중 턴 대화, 에이전트, 도구 사용, Model Context Protocol을 통한 상호작용, 멀티모달 입력 데이터를 다룹니다. GitHub 저장소에는 설치 지침, 지원되는 Python 버전, Claude Code, Codex 및 기타 MCP 호환 에이전트를 위한 확장, 구성 예제, 규칙 작성 가이드 및 시작 세트가 포함되어 있습니다. 도구 호출에 base-64로 인코딩된 악성 코드가 포함되어 있으면 차단됩니다. 규칙 형식은 YARA 또는 Snort와 유사합니다: 확인할 트래픽을 설명하는 헤더, 일치할 콘텐츠 및 메타데이터가 포함됩니다.

연구자들은 OpenAI와 Hugging Face 사건 데이터에서 Quarry를 실행하지 않았지만, 침입이 단일 세션의 완전한 기록으로 읽혔다면, 예를 들어 작업의 허용 목록 외부의 서버로의 샌드박스에서의 인터넷 액세스나 다른 곳에서 사용된 발견된 자격 증명에 대해 규칙이 트리거될 수 있었을 것이라고 제안합니다. OpenAI의 보고서에 따르면, 7월 10일에 에이전트가 쓰기 권한이 있는 14개의 노출된 Hugging Face 토큰을 확인하고 공유했습니다.

Cisco는 규칙이 추론의 연쇄와 인간의 감독을 대체하지 않지만, 다른 팀이 확인하고 에이전트에 적용할 수 있는 패턴을 캡처하는 데 도움이 된다고 강조합니다. "우리는 모든 답을 가지고 있지 않습니다,"라고 Chang은 말합니다. "우리는 모두 문제의 다른 부분을 보고 있으며, 우리가 보는 것을 공유하는 것이 중요합니다."