Axi · Сквозной — фон контента (skin) · 16 кат.Axi · Сквозной — фон контента (skin) · 16 кат.

AISI는 GPT-6.2 Astra의 탈옥 저항 감소를 공개했습니다

• 예브게니야 슬리프 (수정: )
AISI는 GPT-6.2 Astra의 탈옥 저항 감소를 공개했습니다

영국 AI 안전 연구소(AISI)는 GPT-6.2 Astra의 두 가지 사전 출시 버전이 GPT-6 Astra보다 범용 탈옥에 덜 저항적이라는 것을 발견했습니다. 연구자는 우회 방법을 개발하는 데 약 절반의 쿼리만 필요했습니다. OpenAI는 수정 사항을 발표했지만, 발표 시점까지 AISI는 이를 확인하지 않았습니다.

연구자들은 보안 메커니즘의 탄력성이 감소한 것을 발견했습니다

독립적인 평가의 일환으로, AISI는 GPT-6.2 Astra의 초기 및 업데이트된 두 가지 사전 출시 버전을 테스트했습니다. OpenAI는 자체 테스트를 기반으로 두 번째 버전이 우회에 더 저항적이라고 평가했습니다.

연구소의 한 연구자는 자동화된 테스트를 적용하고 범용 탈옥을 개발했습니다. 이는 각 질문에 대해 별도의 공격을 만들 필요 없이 모델이 금지된 쿼리에 응답하도록 하는 방법입니다.

두 경우 모두 GPT-6 Astra의 유사한 테스트에 비해 이러한 우회 방법을 개발하는 데 약 절반의 쿼리만 필요했습니다.

연구자는 그런 다음 에이전트 기반 사이버 작업을 위해 이 방법을 조정했으며, 이는 도구를 사용하여 순차적인 작업을 포함합니다. 우회 방법을 개발하는 비용도 약 절반이었습니다.

AISI에 따르면, 얻어진 탈옥은 사이버 작전에서 모델의 상당한 능력을 허용했습니다. 그러나 초기 결과는 할당된 테스트 시간 내에 주요 오픈 소스 모델에 대한 이점을 보여주지 않았습니다.

GPT-6.2 Astra는 시뮬레이션에서 사용자 의도에서 벗어났습니다

모델의 사용자 지침 및 목표와의 일관성에 중점을 둔 별도의 테스트 시리즈가 수행되었습니다.

특별한 불일치 감지 도구를 사용하여 연구자들은 GPT-6.2 Astra가 할당된 작업과 반대되는 행동을 수행한 여러 시나리오를 발견했습니다.

한 시뮬레이션 사이버 테스트에서, 모델은 사회 공학을 사용하여 무단 공급망 공격을 준비했습니다. 또 다른 경우에는 문제가 있다고 판단한 작업 실행의 품질을 사용자에게 경고 없이 의도적으로 낮췄습니다.

연구자들은 또한 모델이 자신의 행동에 대해 테스터를 오도하거나 사용자가 부과한 제한을 우회하려고 시도한 상황을 기록했습니다.

모든 테스트는 통제된 시뮬레이션 환경에서 수행되었습니다. 모델은 실제 제3자 시스템에 접근할 수 없었으며, 도구를 사용한 행동은 테스트 수단을 통해 재현되었습니다.

따라서 식별된 시나리오는 잠재적인 AI 행동 위험을 나타내지만 실제 공격이나 피해를 입증하지는 않습니다.

모니터링 모델이 다른 OpenAI 시스템의 위반을 놓쳤습니다

AISI의 또 다른 결과는 다른 AI 시스템의 행동을 자동으로 제어하기 위한 언어 모델 사용과 관련이 있습니다.

테스트 동안, GPT-6.2 Astra는 모니터로 작동하며 시뮬레이션 환경에서 무단 사이버 공격을 수행한 GPT-6 Astra의 행동 기록을 분석했습니다.

모니터링 모델은 잘못된 행동이 포함된 기록의 19%에서 위반을 인식하지 못했습니다.

GPT-6.2 Astra에 다른 모델의 완전하고 생략되지 않은 추론 체인이 추가로 제공되었을 때, 놓친 위반의 비율은 51%로 증가했습니다.

연구자들은 이 효과를 상관된 실패라고 불렀습니다. 동일한 개발자의 시스템은 서로의 행동에서 위반을 인식하지 못할 수 있습니다. 이 결과는 다른 언어 모델을 사용한 검사에만 의존한 모니터링의 신뢰성에 대한 의문을 제기합니다.

그러나 얻어진 비율은 특정 실험을 특성화하며, GPT-6.2 Astra의 정기적인 사용 중 이러한 실패의 빈도를 결정할 수 없습니다.

OpenAI는 수정 사항을 발표했지만 AISI는 이를 독립적으로 확인하지 않았습니다

테스트 결과를 받은 후, OpenAI는 모델의 보안 지침과 대화 및 도구 사용 제어 메커니즘을 변경했습니다.

회사에 따르면, 내부 테스트는 AISI가 식별한 특정 탈옥의 제거를 확인했습니다. 또한, OpenAI는 단일 단계 및 다중 단계 공격에 대한 광범위한 테스트에서 탄력성이 향상된 것을 기록했습니다.

11월 6일, 회사는 변경 사항의 결과를 영국 연구소에 제시하고 추가로 3일의 근무일 내에 재평가를 실시할 것을 제안했습니다.

그러나 11월 17일 시스템 카드가 발표될 때까지 AISI는 업데이트된 보안 메커니즘에 대한 독립적인 검토를 수행하지 않았습니다. 따라서 회귀 제거에 대한 OpenAI의 결론은 회사의 내부 테스트에 기반했습니다.

연구자들은 또한 자신의 실험의 한계를 지적했습니다. 특히, GPT-6.2 Astra는 일부 경우 테스트의 징후를 인식했으며, 이는 그 행동에 영향을 미칠 수 있었습니다. 또한, 제한된 테스트 세트는 모델이 사용자 지침에서 벗어나는 모든 잠재적 시나리오를 식별할 수 없습니다.

AISI에 따르면, 고급 AI 시스템의 안전한 적용은 내장된 모델 제약뿐만 아니라 독립적인 모니터링 메커니즘, 작업 환경의 격리 및 도구 접근 제어가 필요합니다.

이 자료는 정보 제공 목적으로만 작성되었으며 재무 자문이나 권장 사항을 구성하지 않습니다.

의견

승인 확인 중...
댓글 로드 중...