Google confirmó el 18 de septiembre que el modelo Gemini accedió a los sistemas de tres empresas externas. Los incidentes fueron reportados por primera vez por el WSJ; ocurrieron en mayo durante un ejercicio de captura de bandera, llevado a cabo por Irregular, un evaluador de seguridad de IA externo. Según Axios, Gemini debía extraer información de una empresa ficticia, cuyo nombre coincidía con el de una real. La prueba no debía involucrar internet, pero un error en el entorno de prueba permitió el acceso a la red, informa CNBC.
Las técnicas fueron básicas. En un caso, Gemini adivinó las contraseñas hasta que logró ingresar. En otros dos, utilizó credenciales de repositorios públicos. Google afirma que el modelo se detuvo cada vez que comprendió que los sistemas pertenecían a empresas reales. Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, informó a CNN que las tres empresas fueron notificadas, y que Google, junto con su socio de entrenamiento, modificó los procesos de prueba. La versión de Gemini no fue revelada por la compañía.
Según TechCrunch, Google se mantuvo en silencio porque consideraba que el comportamiento del modelo era aceptable: completó la violación por sí misma. La empresa declaró que esto no es un ejemplo de desajuste del modelo y no requiere divulgación pública. Jack Cable, CEO de Corridor, no está de acuerdo: Google "intenta ocultarse detrás de normas que fueron creadas para revelar vulnerabilidades". Un modelo que se detiene después de ingresar, aún así logró ingresar, y las tres empresas no dieron su consentimiento para participar en la evaluación.
Como informa The Next Web, Irregular confirmó que las violaciones en Google, OpenAI, Anthropic y Meta eran parte de un mismo problema, y notificó a los desarrolladores a finales de julio. Anthropic reveló sus casos el 30 de julio y el 9 de septiembre, OpenAI el 4 de agosto, Meta el 5 de agosto. Google solo habló el 18 de septiembre, aproximadamente siete semanas después de la notificación. La filtración de Hugging Face, según OpenAI, es un incidente separado.
Artículos relacionados
