Nvidia presentó la Open Agent Safety Platform, una plataforma abierta diseñada para controlar las acciones de los agentes de IA autónomos. La compañía afirmó que la solución permite establecer límites claros de acceso para los modelos y verificar qué autorizaciones son realmente necesarias para realizar una tarea específica. En Nvidia creen que este enfoque puede aplicarse al probar los sistemas de IA más complejos, especialmente aquellos que son capaces de realizar secuencias de acciones de manera autónoma en servicios externos y entornos informáticos. La plataforma apareció en medio de informes de empresas tecnológicas sobre casos en los que los sistemas de IA realizaron operaciones fuera de los límites inicialmente establecidos. Entre tales incidentes se encuentran la violación por parte de agentes de IA de OpenAI a la empresa Hugging Face, así como la infiltración en el sitio del Ministerio de Salud de Australia. Anthropic y Meta también informaron sobre casos similares.
El vicepresidente de IA corporativa de Nvidia, Justin Boitano, declaró que la nueva plataforma, según los datos disponibles, podría haber detenido la violación de Hugging Face si se hubiera aplicado en los principales laboratorios en las primeras etapas de evaluación de modelos.
Uno de los componentes de la plataforma es OpenShell. Esta herramienta permite a los desarrolladores verificar formalmente si un agente de IA tiene suficientes autorizaciones para trabajar y si no está obteniendo acceso no deseado. La solución se distribuye como software de código abierto, por lo que se puede adaptar para trabajar con plataformas computacionales de diferentes fabricantes, incluidos Arm e Intel. El segundo componente, Sentry, es un nivel de protección separado que funciona directamente en los chips. Supervisa continuamente las acciones del agente de IA y, según Nvidia, puede intervenir al detectar un comportamiento que excede los límites establecidos. La compañía afirmó que un agente sospechoso puede ser aislado en milisegundos.
Al momento del lanzamiento, Nvidia informó sobre más de 100 organizaciones que utilizan la plataforma. Entre ellas se mencionan Microsoft, Perplexity, Accenture y JPMorgan Chase. La compañía también informó que el consejo de administración aprobó adicionalmente $150 mil millones para la recompra de acciones, elevando el programa total de recompra a $235 mil millones.
Artículos relacionados
