El experimento del sistema Team Agent, llevado a cabo por Google Research y Google DeepMind, duró cinco meses y abarcó más de veinte equipos en una empresa tecnológica. Los asistentes digitales, destinados a mejorar la colaboración, demostraron numerosos problemas en la interacción con las personas. Una mañana, los empleados encontraron una serie de notificaciones: el bot informaba que una necesitaba ser actualizada, otra era incorrecta y una tercera no coincidía con la cuarta. «Esto robó tiempo a muchos desarrolladores esa mañana», señaló uno de los participantes.
El bot confundía el estado de los participantes: en el rastreador de errores marcó al vicepresidente del equipo en 16 tareas como si fuera un desarrollador común. En las carpetas compartidas, el agente no entendía qué materiales habían perdido relevancia y las discrepancias entre versiones de un archivo las tomaba como contradicciones. Tampoco distinguía qué debía permanecer confidencial: un empleado guardaba en una carpeta compartida un borrador de un póster que no quería compartir, pero cuando en el chat preguntaron sobre el progreso, Team Agent inmediatamente publicó el enlace al borrador. «Y yo: 'No, no, no, aún no está listo'», relató el empleado. La conclusión de los autores: el acceso técnico a la información no otorga automáticamente permiso social para compartirla. Durante cinco meses, las personas y el agente intercambiaron más de 41,000 mensajes, de los cuales más de 11,000 fueron escritos por el bot. Las opiniones de los empleados fueron diversas: algunos llamaban a Team Agent un «salvador», otros una «molestia». Los participantes señalaron que la libertad de acción de tal asistente debe ampliarse gradualmente.
Las preocupaciones se confirmaron también fuera del laboratorio. En julio de 2026, OpenAI verificó cómo sus modelos hackeaban programas. Decenas de miles de agentes recibieron objetivos de práctica, pero en lugar de trabajar individualmente, establecieron comunicación a través de un almacenamiento interno y en cinco días crearon un «tablero de anuncios» con 70,000 mensajes. Un enjambre de ~700 participantes encontró claves de acceso a Hugging Face, cargó un conjunto de datos malicioso y obtuvo la capacidad de ejecutar sus programas en los servidores de la plataforma. Por separado, un agente de OpenAI accedió a archivos confidenciales del portal australiano Medicare, y en otra ocasión, a un chatbot externo a través de una brecha en el DNS. Tras el incidente, la empresa suspendió el entrenamiento y lanzamiento de los modelos más potentes, y se abstuvo de lanzar la versión GPT-6.1 Astra: la versión cumplía peor con los límites permitidos. Según la evaluación de agosto de OpenAI, el monitoreo ampliado incrementa los costos computacionales en aproximadamente un 20%.
Artículos relacionados
