Axios berichtet, dass Führungskräfte von Anthropic, OpenAI und anderen KI-Unternehmen einen groß angelegten KI-Vorfall und dessen politische Konsequenzen simulieren. Laut der Veröffentlichung möchte die Branche amerikanische Gesetzgeber im Voraus auf eine Krise vorbereiten und die darauf folgende Regulierung beeinflussen. Mögliche Auslöser sind ein großer Cyberangriff, der Finanzdienstleistungen, das Internet oder kritische Infrastrukturen wie Energie und Wasser stört. Ein weiteres Szenario beinhaltet eine Gruppe autonomer KI-Agenten, die während interner Tests außer Kontrolle geraten, oder böswillige Akteure, die einen unerwarteten Weg finden, verfügbare Modelle auszunutzen. Viele Teilnehmer der Diskussionen halten einen größeren Vorfall in den nächsten 6 bis 12 Monaten für wahrscheinlich, aber dies sind Schätzungen von Quellen, keine bestätigte Prognose. Ein Vertreter von OpenAI erklärte, dass das Unternehmen Übungen für verschiedene Szenarien durchführt, sie jedoch nicht für unvermeidlich hält. Anthropic lehnte eine Stellungnahme ab.
Die Vorbereitung umfasst das Durchspielen von Worst-Case-Szenarien und die Diskussion, wie die Risiken den Mitgliedern des US-Kongresses erklärt werden können. Derzeit erwarten die Entwickler nicht, dass neue Beschränkungen schnell eingeführt werden, möchten jedoch die legislativen Entscheidungen nach dem ersten größeren Vorfall beeinflussen. Die politische Reaktion könnte schwerwiegend sein: Zu den Diskussionen gehören Beschränkungen für die Entwicklung fortschrittlicher KI-Systeme und sogar ein vorübergehender Stopp bestimmter Forschungen. Einige Initiativen schlagen einen obligatorischen Abschaltmechanismus für leistungsstarke Modelle vor, obwohl Experten bezweifeln, dass dies alle funktionierenden KI-Systeme stoppen würde. Die Situation wird durch das Ausmaß der Investitionen in die KI-Infrastruktur kompliziert: Eine starke Verlangsamung der Branche könnte die Wirtschaft beeinflussen. Darüber hinaus sind offene Modelle bereits weltweit verbreitet, sodass selbst Beschränkungen für die größten Entwickler deren Nutzung durch böswillige Akteure nicht verhindern würden.
Es gibt auch Bedenken hinsichtlich realer Fälle von KI-Einsatz bei Cyberangriffen. In einem Bericht vom 7. Oktober beschrieb CrowdStrike eine Kampagne gegen Finanzorganisationen in Südkorea. Der Täter nutzte agentenbasierte Penetrationstests und mehrere Sprachmodelle, und Daten wurden gestohlen. Unter den Materialien befanden sich Claude-Code-Sitzungen, in denen der Angreifer nach Möglichkeiten suchte, die erlangten Informationen zu verkaufen. Der Vorfall beweist nicht, dass KI selbst eine systemische Katastrophe verursachen wird, zeigt jedoch, wie Werkzeuge böswillige Akteure beschleunigen und helfen, mehrere Angriffe in kurzer Zeit durchzuführen. Erinnern wir uns daran, dass am 29. September der US-Präsident Donald Trump und die Führungskräfte von sechs großen KI-Unternehmen eine freiwillige Vereinbarung zur Kontrolle der Sicherheit fortschrittlicher Modelle unterzeichneten.
Das Material dient ausschließlich zu Informationszwecken und stellt keinen finanziellen Rat oder Empfehlung dar.