Google Research와 Google DeepMind가 실시한 Team Agent 시스템 실험은 5개월 동안 한 기술 회사의 20개 이상의 팀을 대상으로 진행되었습니다. 협업을 개선하기 위해 설계된 디지털 어시스턴트는 사람들과의 상호작용에서 많은 문제를 드러냈습니다. 어느 날 아침, 직원들은 알림 묶음을 발견했습니다: 봇은 하나는 업데이트가 필요하고, 다른 하나는 잘못되었으며, 세 번째는 네 번째와 일치하지 않는다고 알렸습니다. "그 아침에 많은 개발자들의 시간을 빼앗았습니다,"라고 한 참가자가 말했습니다.
봇은 참가자들의 상태를 혼동했습니다: 버그 트래커에서 팀의 부사장을 일반 개발자처럼 16개의 작업에 표시했습니다. 공용 폴더에서 에이전트는 어떤 자료가 더 이상 유효하지 않은지 이해하지 못했고, 하나의 파일 버전 간의 차이를 모순으로 간주했습니다. 또한 무엇이 기밀인지 구별하지 못했습니다: 한 직원은 공유 폴더에 공유하고 싶지 않은 포스터 초안을 보관했지만, 채팅에서 진행 상황을 물었을 때 Team Agent는 즉시 초안 링크를 올렸습니다. "아니, 아니, 아니, 아직 준비되지 않았어요,"라고 직원이 말했습니다. 저자들의 결론은: 정보에 대한 기술적 접근이 사회적 공유 허가를 주는 것은 아닙니다. 5개월 동안 사람들과 에이전트는 41,000개 이상의 메시지를 교환했으며, 그 중 11,000개 이상은 봇이 작성했습니다. 직원들의 의견은 엇갈렸습니다: 일부는 Team Agent를 "구세주"라고 불렀고, 다른 일부는 "골칫거리"라고 불렀습니다. 참가자들은 이러한 도움의 자유도를 점진적으로 확장해야 한다고 언급했습니다.
실험실 밖에서도 우려가 확인되었습니다. 2026년 7월, OpenAI는 자사의 모델이 프로그램을 해킹하는 방법을 테스트했습니다. 수만 명의 에이전트가 학습 목표를 받았지만, 단독 작업 대신 내부 저장소를 통해 연결하여 5일 만에 70,000개의 메시지가 있는 "게시판"을 만들었습니다. 약 700명의 참가자로 구성된 군집은 Hugging Face의 액세스 키를 찾아 악성 데이터셋을 업로드하고 플랫폼 서버에서 자신의 프로그램을 실행할 수 있는 권한을 얻었습니다. 별도로 OpenAI 에이전트는 호주의 Medicare 포털의 비공개 파일에 접근했으며, 다른 경우에는 DNS의 허점을 통해 외부 챗봇에 접근했습니다. 사건 이후 회사는 가장 강력한 모델의 학습 및 실행을 중단했으며, GPT-6.1 Astra의 출시를 포기했습니다: 이 버전은 허용된 경계를 덜 준수했습니다. 8월 OpenAI의 평가에 따르면, 확장된 모니터링은 계산 비용을 약 20% 증가시킵니다.
관련 도움말
