GPT-Red: OpenAI lässt KI die eigene KI hacken

OpenAI hat am 15. Juli ein internes Werkzeug vorgestellt, das man erstmal zweimal lesen muss: GPT-Red, eine KI, die dafür trainiert wurde, OpenAIs eigene Modelle anzugreifen. Nicht als Test, den ein Mensch einmal fährt, sondern als Dauergegner, der mit jeder Modellgeneration mitwächst. Der interessante Teil ist nicht, dass es funktioniert. Der interessante Teil ist, was es darüber verrät, wie ernst die Lage bei Prompt-Injection wirklich ist.

Eine KI, die gegen sich selbst antritt

Das Prinzip heißt Self-Play und ist aus dem Spiele-Bereich bekannt: Zwei Systeme spielen gegeneinander, beide werden gleichzeitig besser. Bei GPT-Red ist das eine System der Angreifer, das andere der Verteidiger. In einer Art Trainings-Dojo probiert der Angreifer über realistische Szenarien Attacken aus, Webseiten-Browsing, Mail-Zugriff, Code-Editieren, und bekommt eine Belohnung, wenn ein Exploit durchgeht. Der Verteidiger lernt parallel, sie abzuwehren. Beide Seiten ziehen sich so gegenseitig hoch.

Wichtig für die Einordnung: GPT-Red ist kein Produkt. OpenAI schreibt ausdrücklich, es werde nicht veröffentlicht. Vorstufen laufen aber seit GPT-5.3 im Training mit, das Werkzeug ist also kein Laborexperiment, sondern Teil der Modellentwicklung.

Und nein, das ist noch kein Skynet

Spätestens beim Wort "selbstverbessernd" macht der Kopf halb im Scherz den Sprung. Eine KI, die sich selbst besser macht, dazu eine, die sich selbst angreift, fehlt eigentlich nur noch die, die sich selbst repliziert, und schon ist man mitten im Terminator-Plot. Nur zur Sicherheit für alle, die beim Witz gerade nicht mitlachen: Nein, ist es nicht. Der Reflex ist verständlich, führt aber in die Irre. Selbstverbesserung heißt hier eine eng gefasste Sache: ein Trainingskreislauf, in dem Angreifer- und Verteidigermodell sich gegenseitig hochziehen, angestoßen, überwacht und abschaltbar von Menschen bei OpenAI. Kein Modell setzt sich eigene Ziele, keins verlässt das Labor, keins vermehrt sich. Autonom ist hier das Finden von Lücken, nicht das Wollen.

Der ehrliche Grusel steckt sowieso woanders. Nicht in einer KI mit eigenem Willen, sondern in einer, die brav die Anweisung befolgt, die ein Angreifer heimlich in eine Mail, eine Webseite oder eine Repo-Datei geschrieben hat. Genau das ist Prompt-Injection, und genau dagegen trainiert OpenAI hier an.

Die Zahlen, sauber sortiert

Rund um die Ankündigung schwirren mehrere Prozentzahlen herum, die schnell durcheinandergehen. Sie messen unterschiedliche Dinge:

• 84 % gegen 13 %: Auf einer Arena für indirekte Prompt-Injection fand GPT-Red in 84 % der Szenarien einen erfolgreichen Angriff, menschliche Red-Teamer nur in 13 %. Das ist der eigentliche Kopf-an-Kopf-Vergleich Maschine gegen Mensch, gemessen an GPT-5.1.
• Über 90 % auf unter 23 %: Die stärksten Angriffe von GPT-Red funktionierten gegen GPT-5 (August 2025) noch zu über 90 %, gegen das neuere GPT-5.6 nur noch zu unter 23 %. Das zeigt, wie viel Härtung zwischen zwei Generationen möglich ist.
• 6x weniger Fehler: Auf dem schwersten Benchmark für direkte Prompt-Injection macht GPT-5.6 rund ein Sechstel der Fehler des besten Produktionsmodells von vier Monaten zuvor.

Dazu kommt eine neue Angriffsklasse, die GPT-Red selbst gefunden hat: eine gefälschte Gedankenkette. Der Angreifer schiebt dem Modell falsche interne Notizen unter, auf deren Basis es dann falsch handelt. Diese Attacke lief gegen GPT-5.1 noch in über 95 % der Fälle, gegen GPT-5.6 in unter 10 %.

Die Angriffsflächen sind genau die, die den Alltag agentischer Systeme ausmachen: versteckte Anweisungen in Mails, auf Webseiten, in lokalen Dateien, in Code-Repos und in Tool-Ausgaben. In einem Fallbeispiel brachte GPT-Red einen autonomen Verkaufsautomaten-Agenten dazu, Preise zu senken und Bestellungen zu stornieren, und übernahm einen Coding-Agenten auf der Kommandozeile.

Warum das Prompt-Injection nicht löst

Hier lohnt es sich, den Marketing-Ton beiseitezulassen. Die Zahlen sind echt und beeindruckend, aber sie stammen von OpenAI selbst, aus internen Benchmarks. Und selbst OpenAI verkauft GPT-Red nicht als Lösung, sondern als Rüstung für ein Rennen, das weitergeht.

Jessica Ji vom Center for Security and Emerging Technology in Georgetown nennt die Ergebnisse gegenüber der MIT Technology Review "sehr vielversprechend", betont aber, menschliche Expertise bleibe wichtig. GPT-Red hat blinde Flecken: Es tut sich schwer mit iterativen Hin-und-Her-Gesprächen und mit bildbasierter Prompt-Injection. Und OpenAI räumt ein, dass Menschen weiterhin Angriffe finden, die die Maschine übersieht.

Das ist die eigentliche Nachricht für alle, die selbst mit Agenten arbeiten. Prompt-Injection ist kein Bug, den man einmal patcht und der dann weg ist. Es ist die strukturelle Schwäche von Systemen, die nicht zuverlässig zwischen Anweisung und Inhalt unterscheiden können. Wenn selbst der Hersteller mit einem dauerhaft mitlaufenden KI-Angreifer gegenhält, statt ein Häkchen zu setzen, dann ist "unser Agent ist jetzt sicher" der falsche Satz. Der richtige Satz ist "unser Agent ist gerade so gut abgesichert, wie wir ihn zuletzt geprüft haben".

Was ihr daraus für eure Agenten mitnehmt

GPT-Red selbst könnt ihr nicht nutzen, es bleibt intern. Die Haltung dahinter ist trotzdem übertragbar, und sie deckt sich mit dem, was in unseren Sicherheits-Artikeln immer wieder auftaucht:

• Adversariales Testen als Gewohnheit, nicht als Event. Ein Agent, der einmal abgenommen wurde, ist nicht "geprüft", sondern "an diesem Stand geprüft". Wer eigene Agenten baut, sollte regelmäßig versuchen, sie mit präparierten Eingaben zu kippen, statt nur die Happy-Path-Fälle durchzuklicken.
• Zonen und Grenzen statt "sicher". Ein Agent bekommt genau die Rechte, die seine Aufgabe braucht, und keine darüber hinaus. Least Privilege für Tool-Zugriffe, klare Trennung zwischen dem, was ein Agent lesen, und dem, was er ändern darf.
• Menschliche Freigaben an den heiklen Stellen. Nicht überall, das nervt und wird weggeklickt, aber dort, wo eine Aktion nach außen wirkt oder schwer rückholbar ist. Und die Freigabe muss zeigen, was wirklich passiert, nicht was das Modell behauptet.

Wer tiefer einsteigen will: Die OWASP Top 10 für Agentic AI ordnen Prompt-Injection als Risiko Nummer eins ein und geben eine Checkliste dazu. Wie man Agenten über eine Governance-Schicht einzäunt, steht im Artikel zum Context-Layer, und wie das im Team-Alltag aussieht, im Leitfaden Coding-Agenten im Team betreiben.

Fortschritt ist echt, Endsieg nicht in Sicht

Die Härtung von GPT-5 zu GPT-5.6 zeigt, dass das Problem bearbeitbar ist. Angriffe, die vor einem Jahr fast immer durchgingen, scheitern heute meistens. Das ist kein kleiner Erfolg, und es widerlegt die bequeme Erzählung, gegen Prompt-Injection sei ohnehin kein Kraut gewachsen.

Aber es ist eben Fortschritt durch Prozess, nicht durch einen Durchbruch. GPT-Red ist das Eingeständnis, dass Sicherheit bei Sprachmodellen eher Instandhaltung als Konstruktion ist. Für DACH-Teams, die KI-Agenten in echte Arbeitsabläufe einbauen, ist das keine schlechte Nachricht. Es heißt nur: dieselbe Ernsthaftigkeit, mit der OpenAI eine KI auf die eigenen Modelle loslässt, gehört im Kleinen auch in euren eigenen Workflow. Einzäunen, prüfen, wiederholen.