Nvidia는 Open Agent Safety Platform이라는 자율 AI 에이전트의 행동을 제어하기 위한 오픈 플랫폼을 발표했습니다. 회사는 이 솔루션이 모델에 명확한 접근 경계를 설정하고 특정 작업을 수행하는 데 필요한 권한을 검토할 수 있도록 한다고 밝혔습니다. Nvidia는 이러한 접근 방식이 외부 서비스 및 컴퓨터 환경에서 일련의 작업을 독립적으로 수행할 수 있는 복잡한 AI 시스템을 테스트할 때 적용될 수 있다고 믿고 있습니다. 이 플랫폼은 AI 시스템이 처음 설정된 제한을 넘어 작업을 수행한 사례에 대한 기술 회사들의 보고가 있는 가운데 등장했습니다. 이러한 사건 중에는 OpenAI의 AI 에이전트가 Hugging Face 회사를 해킹한 사례와 호주의 보건부 웹사이트에 침입한 사례가 포함됩니다. Anthropic과 Meta도 유사한 사례를 보고했습니다.
Nvidia의 기업 AI 부문 부사장인 저스틴 보이타노는 새로운 플랫폼이 초기 모델 평가 단계에서 주요 연구소에서 사용되었다면 Hugging Face 해킹을 막을 수 있었을 것이라고 밝혔습니다.
플랫폼의 구성 요소 중 하나는 OpenShell입니다. 이 도구는 개발자가 AI 에이전트가 작업을 수행하기에 충분한 권한을 가지고 있는지, 불필요한 접근을 받고 있는지 공식적으로 확인할 수 있도록 합니다. 이 솔루션은 오픈 소프트웨어로 배포되어 Arm 및 Intel을 포함한 다양한 제조업체의 컴퓨팅 플랫폼과 함께 작동하도록 조정할 수 있습니다. 두 번째 구성 요소인 Sentry는 칩에서 직접 작동하는 별도의 보호 계층입니다. 이는 AI 에이전트의 행동을 지속적으로 모니터링하며, Nvidia에 따르면 설정된 경계를 벗어나는 행동이 감지되면 개입할 수 있습니다. 회사는 의심스러운 에이전트가 밀리초 내에 격리될 수 있다고 밝혔습니다.
출시 당시 Nvidia는 100개 이상의 조직이 플랫폼을 사용하고 있다고 밝혔습니다. 여기에는 Microsoft, Perplexity, Accenture 및 JPMorgan Chase가 포함됩니다. 회사는 이사회가 추가로 1,500억 달러의 주식 매입을 승인하여 총 자사주 매입 프로그램을 2,350억 달러로 늘렸다고 별도로 발표했습니다.
관련 도움말
