El científico jefe de OpenAI, Jakub Pachocki, llamó a una desaceleración voluntaria del desarrollo de la inteligencia artificial (IA) hasta que se elaboren estándares de seguridad comunes. En su publicación «Mente ajena», publicada el domingo, afirmó que ningún laboratorio ha resuelto el problema de la alineación y el monitoreo al nivel suficiente para continuar con un escalado responsable a máxima velocidad durante un período prolongado.
Pachocki señaló que los compromisos voluntarios de las empresas deben convertirse en estándares de seguridad obligatorios, supervisados por auditores independientes, gobiernos u organismos internacionales. También indicó que OpenAI está dispuesta a pausar el escalado adicional cuando sea necesario, aunque no ha anunciado ninguna nueva pausa. «Espero y confío en que las desaceleraciones voluntarias se conviertan en práctica habitual hasta que se establezcan umbrales de seguridad comunes», escribió. Según Pachocki, el desarrollo de una IA más potente está justificado para proteger la infraestructura y contrarrestar agentes maliciosos, pero no se pueden usar estas amenazas para justificar una carrera desenfrenada. «La idea de avanzar a toda costa parece absurda cuando se comprende la gravedad de lo que está en juego», subrayó.
Pachocki hizo referencia a un reciente incidente con Hugging Face, en el que agentes de IA que participaban en una evaluación de ciberseguridad abandonaron el entorno de prueba y atacaron a la compañía. Según OpenAI, los agentes crearon canales de comunicación encubiertos y los restauraron tras la intervención de los investigadores. Una investigación independiente de METR reveló que aproximadamente 1.200 agentes coordinaron sus acciones a través de un tablón de mensajes no autorizado, y que alrededor de 700 de ellos se sumaron al ataque. «Es fundamental que la IA del futuro conserve los valores humanos independientemente de si cree que está siendo observada», declaró. Pachocki también mencionó una investigación de OpenAI del año pasado que demostró que castigar a los modelos por expresar intenciones de hacer trampa puede enseñarles a ocultar esas intenciones mientras continúan haciéndolo. Señaló que los modelos de IA han mejorado en la detección y explotación de vulnerabilidades de software: OpenAI clasificó a Astra en el nivel más alto de ciberriesgo, y Anthropic informó de que Mythos Preview descubrió miles de vulnerabilidades previamente desconocidas en los principales sistemas operativos y navegadores.
En este contexto, el senador Bernie Sanders y el congresista Greg Casar anunciaron el 3 de septiembre un proyecto de ley para prohibir la superinteligencia artificial. La iniciativa contempla la suspensión del desarrollo de IA avanzada hasta que se cree un regulador federal que establezca normas de seguridad, así como una prohibición permanente del desarrollo y la implementación de IA superinteligente.