Nvidia представила Open Agent Safety Platform – открытую платформу, предназначенную для контроля действий автономных ИИ-агентов. Компания заявила, что решение позволяет задавать для моделей четкие границы доступа и проверять, какие полномочия действительно необходимы для выполнения конкретной задачи. В Nvidia считают, что такой подход может применяться при тестировании наиболее сложных ИИ-систем, особенно тех, которые способны самостоятельно выполнять последовательность действий во внешних сервисах и компьютерных средах. Платформа появилась на фоне сообщений технологических компаний о случаях, когда ИИ-системы выполняли операции за пределами первоначально заданных ограничений. Среди таких инцидентов – взлом ИИ-агентами OpenAI компании Hugging Face, а также проникновение на сайт австралийского министерства здравоохранения. О собственных аналогичных случаях сообщали Anthropic и Meta.
Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано заявил, что новая платформа, по имеющимся данным, могла бы остановить взлом Hugging Face, если бы применялась в ведущих лабораториях на ранних этапах оценки моделей.
Одним из компонентов платформы является OpenShell. Этот инструмент позволяет разработчикам формально проверять, обладает ли ИИ-агент достаточными полномочиями для работы и не получает ли он лишнего доступа. Решение распространяется как открытое программное обеспечение, поэтому его можно адаптировать для работы с вычислительными платформами разных производителей, включая Arm и Intel. Второй компонент, Sentry, представляет собой отдельный уровень защиты, работающий непосредственно на чипах. Он непрерывно отслеживает действия ИИ-агента и, согласно Nvidia, способен вмешаться при обнаружении поведения, выходящего за установленные рамки. В компании заявили, что подозрительный агент может быть изолирован за миллисекунды.
На момент запуска Nvidia сообщила о более чем 100 организациях, использующих платформу. Среди них названы Microsoft, Perplexity, Accenture и JPMorgan Chase. Отдельно компания сообщила, что совет директоров одобрил дополнительно $150 млрд на выкуп акций, доведя общую программу обратного выкупа до $235 млрд.
Похожие статьи
