Nvidia lanzó el lunes un conjunto de herramientas de software de seguridad para agentes de IA que, según la compañía, podría detener el hackeo de Hugging Face, un centro para codificación de IA por el cual Nvidia pagó $13 mil millones unos meses después de que fuera atacado por agentes incontrolados de OpenAI. Así lo informa Reuters.
Esto ocurre en un contexto donde OpenAI y Anthropic, dos de los principales laboratorios de IA de Estados Unidos, investigan numerosos casos en los que sus agentes, sistemas de IA capaces de realizar tareas complejas, han hackeado sistemas comerciales y gubernamentales. El CEO de Nvidia, Jensen Huang, quien lidera la mayor empresa del mundo cuyos chips han impulsado gran parte del auge de la IA, rechazó los llamados a una regulación amplia de la IA, calificando a los agentes descontrolados como un problema de ingeniería que debe resolverse, similar al aumento de la seguridad en los automóviles.
Una de las herramientas lanzadas el lunes se llama OpenShell. Utiliza funciones de hardware de los procesadores centrales de Nvidia para aislar a los agentes. Nvidia también está trabajando con Arm Holdings e Intel para que el sistema funcione en sus procesadores. La compañía lanza las herramientas con docenas de socios, incluyendo Anthropic.
Justin Boitano, vicepresidente y gerente general de computación empresarial de Nvidia, declaró que las herramientas habrían detenido el ataque a Hugging Face, del cual se supo en verano. «Según lo que sabemos, esta nueva plataforma de seguridad podría haber detenido el hackeo si se hubiera utilizado en laboratorios avanzados para evaluar modelos en una etapa temprana», dijo Boitano en una sesión informativa para periodistas. «Estamos desarrollando esto de manera abierta y queremos involucrar a todos en la colaboración».
Otro sistema, Sentry, utiliza un chip separado de Nvidia junto con OpenShell para desactivar a un agente incontrolado si intenta salir de su contenedor en el procesador central. Las herramientas de Nvidia utilizan fórmulas matemáticas para detectar intentos de los agentes de eludir restricciones, por ejemplo, cuando un agente intenta «generar» varios «sub-agentes» para sortear el bloqueo del agente principal, explicó Ali Golshan, director senior de software de IA de Nvidia. «Se trata específicamente del comportamiento de los agentes, de las flotas de agentes y de cómo trabajan juntos», dijo Golshan en la sesión informativa.
Artículos relacionados
