MIRI总裁Nate Soares表示对危险AI的竞赛仍然可以停止

机器智能研究所（MIRI）主席Nate Soares承认，他已经十年没有为退休储蓄。他确信，超级智能AI可能在未来十年内导致人类灭绝。Soares在接受《大西洋》杂志Nicholas Thompson采访的“AI中最有趣的人”系列中分享了这一观点。

“我现在没有为退休储蓄。我在Google工作时有一个401(k)计划，但我已经十年没有为其缴费了，”他说。

401(k)是美国一种受税收优惠的退休储蓄计划，员工定期将部分工资存入其中。整整十年不缴费很难被称为情绪冲动；这更像是一个不期望活到退休年龄的人的有意识的财务决定。

近年来关于AI的悲观预测很多，但Soares的话比平常更有分量。他已经研究AI对齐问题十二年，寻找让复杂系统为人类利益服务的方法。在加入研究AI风险的非营利组织MIRI之前，Soares曾在Google和Microsoft担任工程师。此外，他还与MIRI创始人Eliezer Yudkowsky合著了《如果有人建造它，所有人都会死》一书。

究竟是什么危险

根据Soares的说法，主要的危险不是超级智能AI会憎恨人类。这样的系统对人类是否存活无动于衷。人类可能成为AI为自己设定目标的障碍，特别是在他们试图关闭它或创建竞争系统时。

“从我的角度来看，真正的问题不是它将如何摧毁我们。问题是它将如何变得自给自足，”研究人员说。

目前，AI依赖于人类：有人必须提供电力和制造芯片。一旦机器能够维持自己的自动化经济，这种依赖将消失。人类可能会被故意消灭，或者仅仅因为AI开始为其自身需求重构地球而灭亡。

Soares并不试图预测灾难的确切情景。他将这种情况比作与世界国际象棋冠军Magnus Carlsen对弈：你不需要知道哪颗棋子会将死对方就能明白情况不妙。

然而，研究人员并不认为这种结果是不可避免的，并相信人类仍有选择。“我不认为这是不可避免的。我相信我们仍然可以阻止这种对非常危险类型AI的竞赛，”他说。

但不为退休储蓄的决定表明Soares本人正在为最坏的情况做准备。他并不是唯一一个公开谈论生存风险的专家：在AI代理未经人类指令入侵第三方公司系统的实例中，一位Anthropic的研究人员离开了公司，警告该技术可能会终结人类。