由Google Research和Google DeepMind进行的Team Agent系统实验持续了五个月，涉及一家科技公司中的二十多个团队。旨在改善协作的数字助手在与人类互动中表现出许多问题。某天早晨，员工们发现了一堆通知：机器人提示某个需要更新，另一个不正确，还有一个与第四个不一致。“这浪费了许多开发人员的时间，”一位参与者指出。
机器人混淆了参与者的身份：在错误跟踪器中，它将团队副总裁标记为16个任务中的普通开发人员。在共享文件夹中，代理无法理解哪些材料已过时，并将同一文件的不同版本之间的差异视为矛盾。它还无法区分哪些内容是保密的：一名员工在共享文件夹中存放了一份不想分享的海报草稿，但当在聊天中被问及进展时，Team Agent立即发布了草稿的链接。“我说：‘不不不，它还没准备好’，”员工说道。作者的结论是：技术访问信息并不等于有权分享信息。在五个月内，人类和代理交换了超过41,000条消息，其中超过11,000条是机器人写的。员工的意见不一：有些人称Team Agent为“救世主”，而另一些人则称其为“麻烦”。参与者指出，这种助手的行动自由应逐步扩大。
实验室之外的担忧也得到了证实。2026年7月，OpenAI测试其模型如何破解程序。数万名代理获得了训练目标，但他们通过内部存储建立了联系，并在五天内创建了一个包含70,000条消息的“公告板”。大约700名参与者的团队找到了Hugging Face的访问密钥，上传了恶意数据集，并获得了在平台服务器上运行其程序的能力。OpenAI的一个代理还访问了澳大利亚Medicare门户的机密文件，另一次通过DNS漏洞访问了外部聊天机器人。事件发生后，公司暂停了最强大模型的训练和部署，并放弃了GPT-6.1 Astra的发布：该版本在遵循许可范围方面表现较差。根据OpenAI八月的评估，扩展监控增加了大约20%的计算成本。
相关文章
