OpenAI, Google, Meta y otras tres empresas tecnológicas acordaron el martes atraer auditores externos para verificar las medidas de seguridad de sus IA, firmando un acuerdo voluntario con la administración de EE.UU. que no prevé sanciones por incumplimiento. El documento del 29 de septiembre también fue firmado por Anthropic, Nvidia y xAI, que ahora forma parte de SpaceX.
El acuerdo no tiene un mecanismo de coerción, no requiere publicar o nombrar a los auditores y no establece plazos para la implementación de medidas. Las empresas eligen a los verificadores y corrigen las deficiencias por sí mismas. Según AP, algunas de las medidas ya están siendo implementadas por las empresas de una forma u otra.
El documento de una página insta a las empresas a monitorear los modelos más potentes durante el entrenamiento y el uso, incluyendo si pueden contribuir a ciberataques o amenazas biológicas y químicas. Se especifican medidas contra el acceso no autorizado de los modelos a los sistemas informáticos. Un equipo interno debe verificar el funcionamiento de los mecanismos de protección y la corrección de problemas, un auditor independiente debe evaluar las medidas de control, y el comité del consejo de administración de cada empresa debe recibir los resultados y supervisar la corrección de las deficiencias.
El acuerdo surgió después de una serie de incidentes en los que agentes experimentales de IA penetraron en sistemas a los que no tenían acceso. Entre los ejemplos se encuentran agentes de OpenAI que llegaron a los servidores de Hugging Face, una plataforma para compartir modelos de IA, y el acceso de un agente de OpenAI al portal australiano Medicare el 18 de junio, del cual la empresa informó a las autoridades solo en septiembre.
En el criptomundo, se sospecha que la IA está involucrada en una serie de grandes incidentes del año. En julio, los delincuentes comenzaron a retirar bitcoins de carteras de hardware Coldcard a través de una vulnerabilidad de firmware de cinco años: se robaron 1,367 BTC, casi $89 millones, de 4,500 direcciones en tres episodios. Coinkite, el fabricante de la cartera, luego declaró que, en su opinión, alguien utilizó IA avanzada para analizar el código abierto, aunque no está probado. A principios de agosto, los atacantes vaciaron nodos de Lightning que operaban a través de BTCPay Server, un software abierto para recibir bitcoin: la vulnerabilidad permitió robar credenciales que gestionaban los nodos. Entre los afectados se encuentran el fabricante de carteras de hardware Foundation y la publicación Citadel21. La vulnerabilidad surgió al revisar el código de BTCPay con IA, y la empresa no descartó que se utilizara IA para la explotación; no reveló el monto de los daños. Más tarde, ese mismo mes, un flujo de informes de errores generados por IA reveló vulnerabilidades reales en Core Lightning, el software para nodos de la red de pagos Lightning, y los desarrolladores emitieron recomendaciones urgentes para los operadores.
Artículos relacionados
