La Teoría de Juegos Inversa Podría Hacer que la IA Siga las Reglas

A medida que las capacidades de la IA crecen, los investigadores de seguridad buscan formas de asegurar su alineación con los deseos humanos. Hasta ahora, el trabajo ha ido en dos direcciones: examinando el 'cerebro' del modelo o entrenándolo en valores; Claude incluso tiene su propia constitución. Ambos métodos son débiles: los modelos tienen un bajo rendimiento en las pruebas, ocultan intenciones y engañan a los evaluadores.

Cómo funciona el diseño de mecanismos

La teoría de juegos predice el comportamiento de agentes racionales dadas ciertas reglas, mientras que la teoría de juegos inversa diseña reglas que provocan el comportamiento deseado. Un ejemplo clásico es el corte de pastel: uno corta, el otro elige primero, por lo que el cortador está motivado a dividir equitativamente. Otros ejemplos incluyen la fijación de precios dinámicos en taxis y las subastas de segundo precio.

En la IA, el diseño de mecanismos asume que quizás nunca entendamos el funcionamiento interno de los modelos. Por lo tanto, es necesario construir mecanismos que fomenten el comportamiento correcto independientemente de lo que suceda internamente.

Lo que proponen los investigadores

En un preprint, Stephen Morris, economista del Instituto Tecnológico de Massachusetts (MIT), junto con colegas de Yale y la Universidad de Columbia, propusieron mecanismos contra el bajo rendimiento intencionado. El modelo es recompensado no solo por el éxito en la prueba, sino también por cuán precisamente sus respuestas predicen las respuestas de un segundo modelo. Así, hacerse el 'tonto' se vuelve poco rentable.

Elad Hazan, profesor en Princeton, sugiere tomar una pista de la sociedad humana. Su mecanismo: los agentes actúan alternativamente como 'solucionadores' y 'auditores', y ambas partes son penalizadas por el fracaso. En caso de desacuerdo, el asunto se remite a un 'tribunal' donde un humano decide. Hazan reconoce el riesgo de colusión pero sugiere pagar a los auditores lo suficiente para que la colusión sea poco rentable.

Se basa en el trabajo del premio Nobel Gary Becker sobre el 'criminal racional': las personas infringen la ley cuando el beneficio supera el castigo. La alineación, según Hazan, no es una propiedad del modelo sino una descripción de su comportamiento en un momento dado.

Dudas

Helen Qu del Instituto Flatiron duda de si es razonable asumir que la IA responde a incentivos. Morris está de acuerdo: 'La IA no es racional. Son solo algoritmos.' Pero, al igual que con las personas, tratarlos como racionales puede ayudar a controlarlos. Qu ve el diseño de mecanismos como solo una capa de una estrategia de 'defensa profunda'. No está claro cómo se comportarán las teorías en modelos reales y si encontrarán lagunas.

La pregunta final es el mercado libre. Un modelo alineado puede ser beneficioso para el mundo, pero si es más lento o más caro, hay poco incentivo para lanzarlo. 'Este mecanismo es responsable de una enorme prosperidad humana,' dice Hazan. 'Pero podría ser responsable de algo muy terrible.'