부테린, 무인샷 AI의 Kimi K3.1 Pro 모델 해킹 기술 제한 결정 지지

Ethereum 공동 창립자 비탈릭 부테린은 Moonshot AI의 새로운 Kimi K3.1 Pro 모델에서 최고 수준의 해킹 기술을 제외하기로 한 결정을 지지했습니다. 그는 AI 기능을 제한하는 것이 사용자 제한보다 낫다고 믿습니다. 그러나 이러한 보호에는 측정 가능한 비용이 따릅니다: Moonshot에 따르면 필터링된 모델은 내부 테스트에서 취약점 악용 도구를 생성하는 작업의 81%를 해결한 반면, 필터링되지 않은 모델은 90.5%를 해결했습니다.

부테린은 자신의 입장을 설명했습니다: 사용 사례를 차별하는 것이 사용자를 차별하는 것보다 훨씬 덜 해롭습니다. "저는 Kimi 3.1이 의식적으로 훈련 데이터에서 최고 수준의 공격적인 사이버 기능을 제외하는 것에 반대하지 않습니다. 사용 사례를 차별하는 것이 사용자를 차별하는 것보다 훨씬 덜 나쁩니다. 그리고 세계는 시스템을 준비하고 강화하며 오래된 코드를 점검할 수 있는 모든 시간이 정말로 필요합니다,"라고 그는 소셜 네트워크 X에 썼습니다.

베이징에 기반을 둔 Moonshot은 11월 4일까지 모델의 오픈 가중치를 공개할 계획입니다. 그 후 누구나 이를 다운로드하여 자신의 장비에서 실행할 수 있습니다. 따라서 회사는 사이버 보안 관련 데이터를 훈련 코퍼스와 강화 학습 환경에서 제거하고 일반적인 프로그래밍 작업을 유지했다고 말합니다.

부테린의 의견으로는, AI 기반 공격이 결국 전면적으로 발생할 것입니다. 그때까지 개발자들은 시스템을 강화하고 오래된 코드를 점검하며 새로운 소프트웨어를 테스트할 시간이 필요합니다. 위협은 이미 눈에 띄고 있습니다: 올해 초, Binance Research는 AI가 소프트웨어 계약을 악용하는 방법을 찾는 데 있어 취약점을 탐지하는 것보다 약 두 배 더 뛰어나다고 발견했습니다.

첫 번째 위험 물결이 나쁘게 진행된다면 어떻게 될까요

부테린은 또 다른 갈림길에 대해 경고했습니다. 만약 이 첫 번째 물결이 나쁘게 진행된다면, 그는 폐쇄된 모델, 거의 모든 것에 대한 신원 확인, 그리고 침해적인 감시를 예상합니다. 이러한 시나리오에서는 AI에 대한 접근이 자격과 시민권에 의존할 수 있으며, 일부 사람들은 2등, 3등, 또는 4등급 사용자가 될 것이라고 그는 썼습니다.

부테린은 개인 장비에서 오픈 AI 모델을 출시하는 것을 오랫동안 옹호해 왔으며, 이는 그의 노트북에서의 로컬 테스트로 입증되었습니다. 그러나 그는 필터링이 영원히 지속될 것이라고 기대하지 않습니다: 다른 연구소들이 어쨌든 그러한 기능을 구축할 것인지에 대한 질문에 그는 긍정적으로 답했습니다. Moonshot의 자체 계산에 따르면, 경쟁 오픈 모델 DeepSeek V4.1-Flash는 동일한 테스트에서 이미 85.7%를 기록했습니다.