Nvidia в понедельник выпустила набор программных инструментов безопасности для ИИ-агентов, которые, по заявлению компании, могли бы остановить взлом Hugging Face – хаба для ИИ-кодинга, за который Nvidia заплатила $13 млрд через несколько месяцев после того, как его атаковали неконтролируемые агенты OpenAI. Об этом сообщает Reuters.
Это происходит на фоне того, что OpenAI и Anthropic, две ведущие американские ИИ-лаборатории, расследуют многочисленные случаи, когда их агенты – ИИ-системы, способные выполнять сложные задачи, – взламывали коммерческие и государственные системы. Генеральный директор Nvidia Дженсен Хуанг, возглавляющий крупнейшую компанию мира, чипы которой обеспечили большую часть бума ИИ, отверг призывы к широкому регулированию ИИ, назвав сбежавших агентов инженерной проблемой, которую нужно решать, – по аналогии с повышением безопасности автомобилей.
Один из инструментов, выпущенных в понедельник, называется OpenShell. Он использует аппаратные функции центральных процессоров Nvidia для изоляции агентов. Nvidia также работает с Arm Holdings и Intel, чтобы система работала и на их процессорах. Компания запускает инструменты с десятками партнеров, включая Anthropic.
Джастин Бойтано, вице-президент и генеральный менеджер по корпоративным вычислениям Nvidia, заявил, что инструменты остановили бы атаку на Hugging Face, о которой стало известно летом. «Судя по тому, что мы знаем, эта новая платформа безопасности могла бы остановить взлом, если бы использовалась в передовых лабораториях для оценки моделей на раннем этапе, – сказал Бойтано на брифинге для журналистов. – Мы развиваем это открыто и хотим привлечь всех к сотрудничеству».
Другая система, Sentry, использует отдельный чип Nvidia вместе с OpenShell, чтобы отключить неконтролируемого агента, если тот попытается покинуть свой контейнер на центральном процессоре. Инструменты Nvidia используют математические формулы для обнаружения попыток агентов обойти ограничения – например, когда агент пытается «породить» несколько «суб-агентов», чтобы обойти блокировку основного агента, пояснил Али Голшан, старший директор по ИИ-ПО Nvidia. «Речь идет именно об агентном поведении, о флотилиях агентов и о том, как они работают вместе», – сказал Голшан на брифинге.
Похожие статьи
