Axios informa que ejecutivos de Anthropic, OpenAI y otras compañías de IA están simulando un incidente de IA a gran escala y sus consecuencias políticas. Según la publicación, la industria quiere preparar a los legisladores estadounidenses para una crisis de antemano e influir en la regulación que pueda seguir. Los posibles desencadenantes incluyen un ciberataque importante que interrumpa los servicios financieros, internet o infraestructura crítica, incluida la energía y el agua. Otro escenario involucra a un grupo de agentes de IA autónomos que se salen de control durante pruebas internas o actores maliciosos que encuentran una manera inesperada de explotar los modelos disponibles. Muchos participantes en las discusiones consideran probable un incidente importante en los próximos 6 a 12 meses, pero estas son estimaciones de fuentes, no un pronóstico confirmado. Un representante de OpenAI declaró que la compañía realiza ejercicios para varios escenarios pero no los considera inevitables. Anthropic declinó comentar.
La preparación incluye trabajar a través de los peores escenarios y discutir cómo explicar los riesgos a los miembros del Congreso de los EE.UU. Actualmente, los desarrolladores no esperan que se adopten nuevas restricciones rápidamente, pero quieren influir en las decisiones legislativas después del primer incidente importante. La reacción política podría ser severa: las discusiones incluyen restricciones en el desarrollo de sistemas avanzados de IA e incluso una pausa temporal en ciertas investigaciones. Algunas iniciativas proponen un mecanismo de apagado obligatorio para modelos poderosos, aunque los expertos dudan que esto detendría todos los sistemas de IA en funcionamiento. La situación se complica por la escala de inversiones en infraestructura de IA: una desaceleración brusca en la industria podría impactar la economía. Además, los modelos abiertos ya están muy extendidos a nivel mundial, por lo que incluso las restricciones para los desarrolladores más grandes no impedirían su uso por actores maliciosos.
También hay preocupación por casos reales de uso de IA en ciberataques. En un informe fechado el 7 de octubre, CrowdStrike describió una campaña contra organizaciones financieras en Corea del Sur. El perpetrador utilizó herramientas de prueba de penetración basadas en agentes y varios modelos de lenguaje, y se robaron datos. Entre los materiales había sesiones de Claude Code donde el atacante buscaba formas de vender la información obtenida. El episodio no prueba que la IA en sí misma causará una catástrofe sistémica, pero muestra cómo las herramientas aceleran a los actores maliciosos y ayudan a realizar múltiples ataques en poco tiempo. Recordemos que el 29 de septiembre, el presidente de los EE.UU., Donald Trump, y líderes de seis grandes compañías de IA firmaron un acuerdo voluntario para controlar la seguridad de los modelos avanzados.
Este material se ha preparado exclusivamente con fines informativos y no constituye asesoramiento ni recomendación financiera.