Anthropic警告加速AI发展的威胁

• 尤金尼亚·斯利夫 (已编辑:)

Anthropic警告加速AI发展的威胁

Anthropic报告称,通过在研究中应用AI,未来的模型可能很快达到快速加速进展的门槛。该警告于2026年11月2日出现在向美国证券交易委员会(SEC)提交的更新S-1/A表格中,这是计划IPO之前的准备工作。

这指的是AI帮助创建更先进版本的过程。后续模型可以加速新系统的开发。这个机制被称为递归自我改进,但Anthropic并未声称已经实现了完全自主的循环。

Anthropic对投资者的说明

公司使用Claude来编写代码、测试和优化新模型。它估计,扩大这种做法可能比改进评估其安全性的方法更能加速技术发展。

Anthropic强调:“我们尚未将任何当前模型指定为超过这一门槛。”

该警告基于内部计算和对未来系统的预期。文件还指出,公司可能无法总是及时检测到发展加速,因为某些评估依赖于延迟可用的指标。

公司打算如何控制风险

在其负责任的扩展政策中,Anthropic将AI整体进展率翻倍作为一个门槛,这可以合理地与研发的自动化联系起来。这并不意味着仅仅是员工生产力的翻倍。

随着接近这样的水平,公司提供了对内部流程的增强监控、模型行为检查以及绕过约束的测试。Anthropic还在考虑政策变更,以保持人类对高级AI系统创建的控制。

对于潜在股东来说,风险不仅与技术的安全性有关。如果模型的能力发展速度超过控制工具,公司可能面临产品发布延迟、额外费用和分发限制。

达到门槛的时间尚未确定。Anthropic继续验证评估,并未声称递归自我改进已经成为现实。

本材料仅供参考,不构成财务建议或推荐。

热门新闻