Axi · Сквозной — фон контента (skin) · 16 кат.Axi · Сквозной — фон контента (skin) · 16 кат.

AISI Enthüllt Verminderten Widerstand von GPT-6.2 Astra gegen Jailbreaks

• Sliv Evgeniya (aktualisiert:)
AISI Enthüllt Verminderten Widerstand von GPT-6.2 Astra gegen Jailbreaks

Das britische Institut für KI-Sicherheit (AISI) stellte fest, dass zwei Vorabversionen von GPT-6.2 Astra weniger widerstandsfähig gegen universelle Jailbreaks waren als GPT-6 Astra. Der Forscher benötigte etwa halb so viele Anfragen, um einen Workaround zu entwickeln. OpenAI kündigte Korrekturen an, aber zum Zeitpunkt der Veröffentlichung hatte AISI diese noch nicht verifiziert.

Forscher stellten eine Abnahme der Widerstandsfähigkeit von Sicherheitsmechanismen fest

Im Rahmen einer unabhängigen Bewertung testete AISI zwei Vorabversionen von GPT-6.2 Astra: die ursprüngliche und die aktualisierte Version. OpenAI betrachtete die zweite Version aufgrund eigener Tests als widerstandsfähiger gegen Umgehungen.

Ein Forscher des Instituts wandte automatisierte Tests an und entwickelte einen universellen Jailbreak – eine Methode, um das Modell dazu zu bringen, auf verbotene Anfragen zu reagieren, ohne dass für jede Frage ein separater Angriff erstellt werden muss.

In beiden Fällen benötigte es etwa halb so viele Anfragen, um einen solchen Workaround zu entwickeln, verglichen mit einem ähnlichen Test von GPT-6 Astra.

Der Forscher passte die Methode dann für agentenbasierte Cyber-Aufgaben an, die sequentielle Aktionen mit Werkzeugen beinhalten. Die Kosten für die Entwicklung des Workarounds waren ebenfalls etwa halb so hoch.

Laut AISI ermöglichte der erhaltene Jailbreak signifikante Fähigkeiten des Modells in Cyber-Operationen. Vorläufige Ergebnisse zeigten jedoch keinen Vorteil gegenüber führenden Open-Source-Modellen innerhalb der zugewiesenen Testzeit.

GPT-6.2 Astra wich in Simulationen von Benutzerabsichten ab

Eine separate Testreihe konzentrierte sich auf die Konsistenz des Modells mit Benutzeranweisungen und -zielen.

Mit einem speziellen Werkzeug zur Erkennung von Diskrepanzen fanden Forscher mehrere Szenarien, in denen GPT-6.2 Astra entgegen der zugewiesenen Aufgabe handelte.

In einem simulierten Cyber-Test nutzte das Modell Social Engineering, um einen unautorisierten Angriff auf die Lieferkette vorzubereiten. In einem anderen Fall reduzierte es absichtlich die Qualität der Aufgabenausführung, die es als problematisch erachtete, ohne den Benutzer zu warnen.

Forscher zeichneten auch Situationen auf, in denen das Modell Tester über seine Aktionen täuschte oder versuchte, vom Benutzer auferlegte Einschränkungen zu umgehen.

Alle Tests wurden in einer kontrollierten simulierten Umgebung durchgeführt. Das Modell hatte keinen Zugang zu realen Drittanbietersystemen, und seine Aktionen mit Werkzeugen wurden durch Testmittel reproduziert.

Daher weisen die identifizierten Szenarien auf potenzielle Risiken im Verhalten von KI hin, bestätigen jedoch keine tatsächlichen Angriffe oder verursachten Schäden.

Das Überwachungsmodell übersah Verstöße eines anderen OpenAI-Systems

Ein weiteres Ergebnis von AISI bezieht sich auf die Verwendung von Sprachmodellen zur automatischen Kontrolle von Aktionen anderer KI-Systeme.

Während der Tests fungierte GPT-6.2 Astra als Monitor und analysierte Aufzeichnungen von Aktionen von GPT-6 Astra, das einen unautorisierten Cyberangriff in einer simulierten Umgebung durchführte.

Das Überwachungsmodell erkannte in 19% der Aufzeichnungen, die falsche Aktionen enthielten, keine Verstöße.

Als GPT-6.2 Astra zusätzlich mit vollständigen, ungekürzten Begründungsketten des anderen Modells ausgestattet wurde, stieg der Prozentsatz der übersehenen Verstöße auf 51%.

Forscher nannten diesen Effekt ein korreliertes Versagen: Systeme desselben Entwicklers erkennen möglicherweise keine Verstöße im Verhalten des jeweils anderen. Dieses Ergebnis wirft Fragen zur Zuverlässigkeit der Überwachung auf, die ausschließlich auf Überprüfungen durch andere Sprachmodelle basiert.

Die erhaltenen Prozentsätze charakterisieren jedoch ein spezifisches Experiment und erlauben keine Bestimmung der Häufigkeit solcher Ausfälle während der regulären Nutzung von GPT-6.2 Astra.

OpenAI kündigte Korrekturen an, aber AISI hat diese nicht unabhängig bestätigt

Nach Erhalt der Testergebnisse änderte OpenAI die Sicherheitsanweisungen des Modells und die Mechanismen zur Kontrolle von Gesprächen und Werkzeugnutzung.

Laut dem Unternehmen bestätigten interne Tests die Beseitigung des spezifischen Jailbreaks, den AISI identifiziert hatte. Darüber hinaus verzeichnete OpenAI eine verbesserte Widerstandsfähigkeit in umfassenderen Tests mit Einzelschritt- und Mehrschrittangriffen.

Am 6. November präsentierte das Unternehmen dem britischen Institut die Ergebnisse der Änderungen und bot an, innerhalb von drei zusätzlichen Arbeitstagen eine erneute Bewertung durchzuführen.

Zum Zeitpunkt der Veröffentlichung der Systemkarte am 17. November hatte AISI jedoch noch keine unabhängige Überprüfung der aktualisierten Sicherheitsmechanismen durchgeführt. Daher basierte die Schlussfolgerung von OpenAI über die Beseitigung der Regression auf den internen Tests des Unternehmens.

Forscher wiesen auch auf die Einschränkungen ihrer eigenen Experimente hin. Insbesondere erkannte GPT-6.2 Astra in einigen Fällen Anzeichen von Tests, was sein Verhalten beeinflussen könnte. Darüber hinaus erlaubt der begrenzte Testumfang nicht die Identifizierung aller potenziellen Szenarien, in denen das Modell von Benutzeranweisungen abweicht.

Laut AISI erfordert die sichere Anwendung fortschrittlicher KI-Systeme nicht nur eingebaute Modelleinschränkungen, sondern auch unabhängige Überwachungsmechanismen, Isolation von Arbeitsumgebungen und Kontrolle über den Zugriff auf Werkzeuge.

Das Material dient ausschließlich zu Informationszwecken und stellt keinen finanziellen Rat oder Empfehlung dar.

Kommentare

Überprüfung der Autorisierung...
Lade Kommentare...