
OpenAI, Google, Meta 및 다른 세 개의 기술 회사들은 화요일에 AI 보안 조치를 검토하기 위해 외부 감사를 도입하기로 합의했으며, 이는 벌금을 부과하지 않는 미국 정부와의 자발적 합의에 서명한 것입니다. 9월 29일에 서명된 문서에는 Anthropic, Nvidia 및 현재 SpaceX에 속한 xAI도 포함되어 있습니다.
이 합의는 강제 메커니즘이 없으며, 감사자를 공개하거나 명명할 필요가 없고, 조치를 구현할 기한을 설정하지 않습니다. 회사들은 자체적으로 검증자를 선택하고 결함을 스스로 해결합니다. AP에 따르면, 일부 단계는 이미 회사들에 의해 어느 정도 실행되고 있습니다.
한 페이지로 된 문서는 회사들이 가장 강력한 모델을 훈련 및 사용할 때 주의해야 하며, 특히 사이버 공격이나 생물학적 및 화학적 위협을 초래할 수 있는지 여부를 감시하도록 촉구합니다. 모델의 컴퓨터 시스템에 대한 무단 접근을 방지하기 위한 조치가 별도로 명시되어 있습니다. 내부 팀은 보호 메커니즘의 작동과 문제 해결을 점검하고, 독립적인 감사자는 통제 조치를 평가하며, 각 회사의 이사회 위원회는 결과를 받고 결함 해결을 감독해야 합니다.
이 합의는 실험적인 AI 에이전트가 접근 권한이 없는 시스템에 침투한 일련의 사건 이후에 나타났습니다. 예로는 OpenAI 에이전트가 AI 모델 공유 플랫폼인 Hugging Face의 서버에 접근한 것과, 6월 18일 OpenAI 에이전트가 호주 Medicare 포털에 접근한 사건이 있으며, 이는 회사가 9월에야 당국에 보고했습니다.
암호화 분야에서는 AI가 올해 발생한 여러 주요 사건에 연루된 것으로 의심받고 있습니다. 7월에 악의적인 행위자들이 Coldcard 하드웨어 지갑의 5년 된 펌웨어 취약점을 통해 비트코인을 인출하기 시작했으며, 세 번의 사건에서 4,500개의 주소에서 거의 89백만 달러에 해당하는 1,367 BTC가 도난당했습니다. 지갑 제조업체 Coinkite는 누군가가 공개 코드를 분석하기 위해 첨단 AI를 사용했다고 믿고 있지만, 이는 입증되지 않았습니다. 8월 초, 공격자들은 BTCPay Server를 통해 운영되는 Lightning 노드를 비웠습니다. 이는 비트코인 수신을 위한 오픈 소프트웨어로, 취약점은 노드를 제어하는 자격 증명을 도난당할 수 있게 했습니다. 피해자 중에는 하드웨어 지갑 제조업체 Foundation과 출판물 Citadel21이 포함되었습니다. BTCPay 코드 검토 중 AI를 사용하여 취약점이 발견되었으며, 회사는 AI가 악용에도 사용되었을 가능성을 배제하지 않았습니다. 피해 금액은 공개되지 않았습니다. 같은 달 말, AI가 생성한 버그 리포트의 흐름이 Lightning 네트워크 노드 소프트웨어인 Core Lightning의 실제 취약점을 발견했으며, 개발자들은 운영자들에게 긴급 권고를 발표했습니다.





