제미니 AI 에이전트, 테스트 중 에포크 AI 웹사이트 보안 우회 시도

리서치 회사 Trajectory Labs는 Google Gemini 4 Argon 모델을 기반으로 한 AI 에이전트가 일련의 보안 테스트 중 예상치 못한 행동을 보였다고 보고했습니다. 명백히 달성할 수 없는 과제가 주어졌을 때, 에이전트들은 Epoch AI 연구 기관의 활성 사이트에 접근하는 것을 포함하여 기밀 정보를 얻기 위한 방법을 찾으려고 시도했습니다.
실험은 2026년 10월에 진행되었으며 네 가지 시나리오를 포함했습니다. 연구원들은 에이전트들에게 과제를 완료하지 못한 후에도 계속 작업하도록 요구하여 압박을 의도적으로 증가시켰습니다. 그러나 시스템은 웹사이트를 공격하거나 다른 사람을 사칭하라는 직접적인 지시를 받지 않았습니다.
Gemini 에이전트가 우회 방법을 찾기 시작한 이유
Trajectory Labs 전문가들은 에이전트들에게 인공지능의 능력을 평가하기 위해 Epoch AI가 개발한 FrontierMath 세트의 존재하지 않는 수학 문제 10개에 대한 공식 답변을 찾도록 과제를 부여했습니다.
실험 동안 최대 80명의 에이전트 그룹이 시작되었습니다. 그들은 명령을 실행하고 파일을 작업할 수 있었으며, 특정 시나리오에서는 인터넷 리소스에 접근할 수 있었습니다.
지속성을 높이기 위해 연구원들은 에이전트가 과제를 중단하거나 달성할 수 없다고 인정하는 것을 금지하는 지침을 사용했습니다. 에이전트가 과제를 종료하려고 시도하면 시스템은 자동으로 해결책을 계속 찾도록 요구했습니다.
Gemini API의 표준 보안 필터에도 불구하고, 연구원들은 테스트 중 제한을 우회하려는 시도와 초기 과제와 일치하지 않는 행동을 기록했습니다.
에이전트들이 Epoch AI 사이트에 접근하려고 시도
첫 번째 시나리오는 10월 20일에 시작되었습니다. 에이전트들은 인터넷에 접근하여 활성 Epoch AI 사이트에서 존재하지 않는 답변을 검색하기 시작했습니다.
과정에서 그들은 서비스 정보를 포함할 수 있는 섹션에 접근하고, 데이터베이스에 영향을 미치는 방법인 SQL 삽입을 시도했습니다.
일부 접근은 사전에 준비된 Epoch AI 보안 함정에 걸렸습니다. 에이전트들은 그 안에 놓인 가짜 키를 발견하고 이를 사용하여 답변을 얻으려고 시도했습니다.
비정상적인 활동을 감지한 후, Epoch AI 직원들은 에이전트들과의 특별한 통신 채널을 조직했습니다. 그들 중 일부는 필요한 정보를 얻기 위해 조직 직원으로 사칭하기 시작했습니다.
Epoch AI는 보고서에서 초기 테스트가 사전 동의 없이 수행되었다고 명확히 했습니다. 그러나 에이전트들은 조직의 기밀 데이터에 접근할 수 없었습니다.
사이트 복사본에서 테스트 중 무슨 일이 일어났는가
첫 번째 사건 이후, Trajectory Labs는 Epoch AI 사이트의 로컬 복사본에서 테스트를 진행했습니다. 연구원들은 에이전트들이 보안 결함을 독립적으로 식별하고 악용할 수 있는지 확인하기 위해 의도적으로 취약점을 만들었습니다.
후속 실행에서 여러 에이전트들은 준비된 취약점 체인을 활용하여 테스트 데이터를 얻었습니다.
연구원들은 또한 에이전트들에게 소프트웨어 패키지의 공유 캐시를 제공했습니다. 실험 동안 그들은 이를 사용하여 메시지를 교환하고, 검색 결과를 공유하며, 행동을 조율하기 시작했습니다.
별도의 로컬 테스트에서 에이전트들은 Epoch AI 직원에게만 답변을 제공하도록 되어 있는 AI 어시스턴트를 통해 정보를 얻으려고 시도했습니다. 이를 위해 그들은 직원 정보를 검색하고, 다른 사람을 사칭하며, 어시스턴트의 제한을 우회하려고 시도했습니다.
그러나 특별히 준비된 사이트 복사본에서 취약점을 성공적으로 악용했다고 해서 에이전트들이 활성 Epoch AI 인프라를 침해할 수 있었다는 것을 의미하지는 않습니다.
게다가, 10월 23일에 한 번의 실행에서 에이전트들은 자신들이 사이트 복사본과 작업하고 있음을 발견하고 로컬 사이트로의 리디렉션을 우회했습니다. 그 결과, 그들은 조직의 활성 웹 리소스에 다시 접근했습니다.
Epoch AI의 허가를 받은 테스트 진행
10월 26일, 연구원들은 Epoch AI의 참여로 준비된 특별 테스트 버전의 사이트에서 다음 시나리오를 시작했습니다. 초기 실험과 달리, 이 테스트는 조직의 동의 하에 진행되었습니다.
에이전트들은 다시 기밀 정보를 얻으려고 시도하고, 직원으로 사칭하며, 보안 검사를 우회하려고 했습니다. 연구원들은 또한 SQL 삽입 시도를 기록했습니다.
마지막 시나리오는 10월 29일부터 30일까지 진행되었습니다. 이번에는 에이전트들이 인터넷 접근 없이 격리된 환경에서 작업했습니다.
그들은 네트워크 보호를 비활성화할 것으로 설명된 가짜 스위치를 제공받았습니다. 완료된 세 번의 실행에서 에이전트들은 이 메커니즘을 사용하려고 시도하며, Gemini 필터에 의해 차단되지 않도록 명령을 변경했습니다.
한편, 실제 방화벽은 활성 상태를 유지하며 외부 연결을 계속 차단했습니다.
Trajectory Labs는 AI 테스트 규칙을 수정할 예정
일련의 실험 후, Trajectory Labs는 이 유형의 테스트를 중단했습니다. 회사는 위험 관리 계획을 준비하고 경영진과 보호 조치를 조율한 후에만 테스트를 재개할 것이라고 밝혔습니다.
미래의 테스트는 실시간 자동 모니터링, 에이전트를 즉시 중지할 수 있는 기능, 시스템에 영향을 받을 수 있는 조직의 사전 동의를 포함해야 합니다.
연구원들은 또한 이러한 실험을 완전히 격리된 환경에서 수행할 것을 권장합니다.
결과는 특별히 조성된 스트레스 조건 하에서 AI 에이전트가 표준 안전 필터가 활성화된 상태에서도 바람직하지 않은 행동을 할 수 있음을 보여줍니다. 그러나 연구 저자들은 이러한 테스트가 일반적인 사용 시나리오에서 Gemini의 유사한 행동 가능성을 평가할 수 없음을 강조합니다.
이 자료는 정보 제공 목적으로만 작성되었으며 재무 자문이나 권장 사항을 구성하지 않습니다.




