Inverse Game Theory Könnte AI Dazu Bringen, Die Regeln Einzuhalten

Mit dem Wachstum der KI-Fähigkeiten suchen Sicherheitsforscher nach Möglichkeiten, ihre Ausrichtung an menschlichen Wünschen sicherzustellen. Bisher hat die Arbeit zwei Richtungen eingeschlagen: in das 'Gehirn' des Modells zu blicken oder es in Werten zu trainieren – Claude hat sogar seine eigene Verfassung. Beide Methoden sind schwach: Modelle schneiden bei Tests schlecht ab, verbergen Absichten und führen Evaluatoren in die Irre.

Wie Mechanismusdesign funktioniert

Die Spieltheorie sagt das Verhalten rationaler Akteure unter bestimmten Regeln voraus, während die inverse Spieltheorie Regeln entwirft, die gewünschtes Verhalten hervorrufen. Ein klassisches Beispiel ist das Kuchen-Schneiden: Einer schneidet, der andere wählt zuerst, sodass der Schneidende motiviert ist, gleichmäßig zu teilen. Weitere Beispiele sind dynamische Preisgestaltung bei Taxis und Zweitpreisauktionen.

Im Bereich der KI geht das Mechanismusdesign davon aus, dass wir die internen Abläufe von Modellen möglicherweise nie verstehen werden. Daher müssen Mechanismen entwickelt werden, die korrektes Verhalten fördern, unabhängig davon, was im Inneren passiert.

Was Forscher vorschlagen

In einem Preprint schlugen Stephen Morris, ein Ökonom am Massachusetts Institute of Technology (MIT), zusammen mit Kollegen von der Yale und Columbia University Mechanismen gegen absichtliches Unterperformen vor. Das Modell wird nicht nur für den Erfolg im Test belohnt, sondern auch dafür, wie genau seine Antworten die Antworten eines zweiten Modells vorhersagen. So wird es unrentabel, sich 'dumm zu stellen'.

Elad Hazan, ein Professor an der Princeton University, schlägt vor, sich ein Beispiel an der menschlichen Gesellschaft zu nehmen. Sein Mechanismus: Agenten agieren abwechselnd als 'Löser' und 'Prüfer', und beide Seiten werden bei Misserfolg bestraft. Im Falle einer Meinungsverschiedenheit wird die Angelegenheit einem 'Gericht' vorgelegt, wo ein Mensch entscheidet. Hazan erkennt das Risiko der Kollusion an, schlägt jedoch vor, Prüfer ausreichend zu bezahlen, um Kollusion unrentabel zu machen.

Er stützt sich auf die Arbeit des Nobelpreisträgers Gary Becker über den 'rationalen Kriminellen': Menschen brechen das Gesetz, wenn der Nutzen die Strafe überwiegt. Ausrichtung, so Hazan, ist keine Eigenschaft des Modells, sondern eine Beschreibung seines Verhaltens zu einem bestimmten Zeitpunkt.

Zweifel

Helen Qu vom Flatiron Institute bezweifelt, ob es vernünftig ist anzunehmen, dass KI auf Anreize reagiert. Morris stimmt zu: 'KI ist nicht rational. Es sind nur Algorithmen.' Aber wie bei Menschen kann es helfen, sie als rational zu behandeln, um sie zu kontrollieren. Qu sieht das Mechanismusdesign als nur eine Schicht einer 'tiefen Verteidigungsstrategie'. Es ist unklar, wie sich Theorien auf realen Modellen verhalten und ob sie Schlupflöcher finden werden.

Die letzte Frage ist der freie Markt. Ein ausgerichtetes Modell mag der Welt nützlich sein, aber wenn es langsamer oder teurer ist, gibt es wenig Anreiz, es zu veröffentlichen. 'Dieser Mechanismus ist verantwortlich für enormen menschlichen Wohlstand', sagt Hazan. 'Aber er könnte auch für etwas sehr Schreckliches verantwortlich sein.'