逆向博弈论可能使人工智能遵循规则

随着人工智能能力的增长，安全研究人员正在寻找确保其与人类愿望一致的方法。目前，工作主要朝两个方向发展：探究模型的“脑袋”或在价值观上对其进行训练——Claude甚至有自己的宪法。两种方法都很薄弱：模型在测试中表现不佳，隐藏意图，并误导评估者。

机制设计如何运作

博弈论预测在特定规则下理性代理的行为，而逆向博弈论设计出引发期望行为的规则。一个经典的例子是切蛋糕：一个人切，另一个人先选，因此切蛋糕的人被激励平分。其他例子包括出租车的高峰定价和二价拍卖。

在人工智能中，机制设计假设我们可能永远无法理解模型的内部工作。因此，需要构建机制以鼓励正确行为，无论内部发生了什么。

研究人员的建议

在一份预印本中，麻省理工学院（MIT）的经济学家Stephen Morris与耶鲁大学和哥伦比亚大学的同事提出了针对故意表现不佳的机制。模型不仅因测试成功而获得奖励，还因其答案准确预测第二个模型的答案而获得奖励。因此，装“笨”变得无利可图。

普林斯顿大学的教授Elad Hazan建议从人类社会中汲取灵感。他的机制是：代理人轮流担任“解决者”和“审计员”，双方因失败而受罚。在意见不一致的情况下，问题提交给由人类决定的“法庭”。Hazan承认合谋的风险，但建议支付足够的报酬给审计员，使合谋无利可图。

他依赖于诺贝尔奖得主Gary Becker关于“理性罪犯”的研究：当收益超过惩罚时，人们会违法。根据Hazan的说法，调整不是模型的属性，而是对其在某一时刻行为的描述。

疑虑

Flatiron研究所的Helen Qu对假设人工智能会对激励作出反应表示怀疑。Morris同意：“人工智能不是理性的。它只是算法。”但就像对待人一样，将其视为理性可以帮助控制它们。Qu认为机制设计只是“深度防御”策略的一层。尚不清楚理论在真实模型上会如何表现，以及它们是否会找到漏洞。

最后的问题是自由市场。一个对齐的模型可能对世界有利，但如果它更慢或更昂贵，几乎没有动力去发布它。“这个机制对人类的巨大繁荣负有责任，”Hazan说。“但它也可能对某些非常可怕的事情负责。”