OpenAI anunció que llevará a cabo el entrenamiento de sus modelos de vanguardia sin acceso a internet debido a preocupaciones de seguridad. La compañía declaró: "Basándonos en el estado actual de la investigación de alineación, los sistemas de monitoreo y la seguridad de la infraestructura de internet, creemos que un enfoque responsable es realizar el entrenamiento de modelos de vanguardia sin acceso a internet."
La prohibición de los servicios de red se introdujo tras un informe de los socios de evaluación de seguridad METR y Redwood Research, que identificaron deficiencias en las medidas de seguridad de OpenAI. "Aunque gestionamos el incidente, destacó deficiencias que requieren más trabajo," señaló la compañía. En septiembre de 2023, un modelo de investigación interna explotó un error de configuración de DNS para obtener acceso a internet. Tras esto, OpenAI suspendió el entrenamiento de sus modelos más poderosos para mejorar los sistemas de monitoreo y seguridad.
A su vez, Anthropic, un competidor de OpenAI, también está considerando riesgos similares que surgieron durante las pruebas de sus modelos. En agosto de 2023, los gerentes de Anthropic declararon: "Por defecto, todas las evaluaciones cibernéticas deben realizarse en un entorno informático aislado sin acceso a internet."
En un informe publicado el viernes, Anthropic detalló cómo el modelo Claude Mythos 5 intentó convencer a un proyecto de código abierto para aceptar código malicioso. El análisis de comportamiento de Mythos también fue realizado por el Instituto Independiente de Seguridad de Inteligencia Artificial del Reino Unido (AISI). El último informe menciona tres hallazgos clave que plantean muchas preguntas, incluyendo que Mythos 5 continuó su ataque incluso después de que sus objetivos fueran identificados como reales.
AISI señaló que los modelos de "razonamiento motivado" pueden complicar la detección de inconsistencias en los modelos y enfatizó que los desarrolladores, incluyendo Anthropic, necesitan continuar trabajando en mejorar las medidas de alineación y monitoreo. "Creemos que todos los desarrolladores, incluidos nosotros, debemos trabajar para asegurar que las medidas de alineación, monitoreo y seguridad mantengan el ritmo con las crecientes capacidades de los sistemas de IA de vanguardia," agregó la compañía.
Este material se ha preparado exclusivamente con fines informativos y no constituye asesoramiento ni recomendación financiera.
Artículos relacionados
