Nvidia推出保护AI代理的平台

Nvidia推出了Open Agent Safety Platform——一个开放的平台，旨在控制自主AI代理的行为。公司表示，该解决方案允许为模型设定明确的访问边界，并检查哪些权限确实是完成特定任务所必需的。Nvidia认为，这种方法可以用于测试最复杂的AI系统，特别是那些能够在外部服务和计算环境中自主执行一系列操作的系统。该平台的推出正值科技公司报告AI系统在超出最初设定限制的情况下执行操作的事件之际。这些事件包括OpenAI代理入侵Hugging Face公司，以及入侵澳大利亚卫生部网站。Anthropic和Meta也报告了类似的事件。

Nvidia企业AI副总裁贾斯汀·博伊塔诺表示，根据现有数据，如果在早期模型评估阶段的主要实验室中使用，新平台可能会阻止Hugging Face的入侵。

平台的一个组件是OpenShell。这个工具允许开发者正式验证AI代理是否拥有足够的权限进行工作，并确保其没有获得多余的访问权限。该解决方案作为开源软件发布，因此可以适配不同制造商的计算平台，包括Arm和Intel。第二个组件，Sentry，是一个直接在芯片上运行的独立保护层。它持续监控AI代理的行为，并根据Nvidia的说法，在发现超出设定范围的行为时能够进行干预。公司表示，可疑代理可以在毫秒内被隔离。

在平台推出时，Nvidia报告称已有超过100个组织在使用该平台。其中包括Microsoft、Perplexity、Accenture和JPMorgan Chase。公司还特别提到，董事会批准了额外的1500亿美元用于股票回购，将总回购计划提高到2350亿美元。