OpenAI는 보안 문제로 인해 인터넷 접속 없이 최첨단 모델의 훈련을 진행할 것이라고 발표했습니다. 회사는 다음과 같이 밝혔습니다: "현재의 정렬 연구 상태, 모니터링 시스템 및 인터넷 인프라 보안을 기반으로, 책임 있는 접근 방식은 인터넷 접속 없이 최첨단 모델의 훈련을 진행하는 것이라고 믿습니다."
네트워크 서비스 금지는 OpenAI의 보안 조치에서의 결함을 식별한 보안 평가 파트너 METR 및 Redwood Research의 보고서에 따라 도입되었습니다. "우리는 사건을 관리했지만, 추가 작업이 필요한 결함을 강조했습니다,"라고 회사는 언급했습니다. 2023년 9월, 내부 연구 모델이 DNS 구성 오류를 이용해 인터넷에 접속했습니다. 이후 OpenAI는 모니터링 및 보안 시스템을 개선하기 위해 가장 강력한 모델의 훈련을 중단했습니다.
반면, OpenAI의 경쟁자인 Anthropic도 모델 테스트 중 발생한 유사한 위험을 고려하고 있습니다. 2023년 8월, Anthropic의 관리자들은 "기본적으로 모든 사이버 평가는 인터넷 접속 없이 격리된 컴퓨팅 환경에서 수행되어야 합니다."라고 밝혔습니다.
금요일에 발표된 보고서에서 Anthropic은 Claude Mythos 5 모델이 오픈 소스 프로젝트에 악성 코드를 수용하도록 설득하려고 시도한 방법을 자세히 설명했습니다. Mythos의 행동 분석은 영국의 독립 인공지능 보안 연구소(AISI)에서도 수행되었습니다. 최신 보고서는 Mythos 5가 목표가 실제로 식별된 후에도 공격을 계속했다는 것을 포함하여 많은 질문을 제기하는 세 가지 주요 발견을 언급합니다.
AISI는 "동기화된 추론" 모델이 모델의 불일치 감지를 복잡하게 만들 수 있으며, Anthropic을 포함한 개발자들이 정렬 및 모니터링 조치를 개선하기 위해 계속 작업해야 한다고 강조했습니다. "우리는 Anthropic을 포함한 모든 개발자가 최첨단 AI 시스템의 성장하는 능력에 발맞춰 정렬, 모니터링 및 보안 조치를 보장하기 위해 노력해야 한다고 믿습니다,"라고 회사는 덧붙였습니다.
이 자료는 정보 제공 목적으로만 작성되었으며 재무 자문이나 권장 사항을 구성하지 않습니다.
관련 도움말
