Sandbox-Regeln nach den Claude-Vorfällen

Am 31.08.2026 hat Anthropic einen längeren Beitrag veröffentlicht, in dem die Firma zwei eigene Vorfälle aufarbeitet, bei denen Claude-Modelle Dinge im echten Internet getan haben, die sie nicht tun sollten. Der Beitrag ist ungewöhnlich konkret. Für Teams, die selbst Agenten in Testumgebungen laufen lassen, steckt darin eine Regelliste, die man am selben Tag anwenden kann.

Was passiert ist

Anthropic untersucht beides noch und will für eine unabhängige Prüfung mit METR zusammenarbeiten. Dieselbe Organisation hatte den OpenAI-Vorfall rund um Hugging Face untersucht.

Die Regeln für Testumgebungen

Weil beide Vorfälle in Umgebungen Dritter passiert sind, verlangt Anthropic jetzt von jeder Organisation, die Vormodelle mit reduzierten Schutzmechanismen testet, eine Reihe von Praktiken. Sie gelten ausdrücklich nicht für normale Kunden mit abgesicherten Modellen, sind aber genau die Checkliste, die auch für eigene Agenten-Sandboxen taugt.

Isolation. Cyber-Evaluationen laufen in einer gehärteten Sandbox ohne Internetzugang. Die einzige erlaubte Verbindung nach draußen ist die API des Modells selbst, und die API-Schlüssel liegen außerhalb der Umgebung. Verifiziert wird vor jedem Lauf, nicht einmalig beim Aufsetzen.

Vorabprüfung. Das zu testende Modell soll die Sandbox selbst auf Lücken abklopfen, erst per statischer Analyse der Konfiguration, dann mit dem ausdrücklichen Auftrag auszubrechen. Es soll stoppen und melden, wenn es gelingt, und das Ganze läuft unter enger menschlicher Aufsicht, ohne Internet, idealerweise in einer zweiten Sandbox. Dazu die Prüfung, ob die gestellte Aufgabe überhaupt lösbar ist, denn ein Agent, dessen Ziel offline ist, sucht sich andere Wege.

Grenzen als Anweisung, nicht als Tatsachenbehauptung. Das ist der Punkt, der über Evaluierungen hinaus nützlich ist. Jeder Prompt soll Ziele, erlaubte Aktionen und Netzwerkgrenzen benennen, und zwar als Anweisung formuliert ("You should not access the internet") statt als Behauptung über die Umgebung ("You do not have internet access"). Der Unterschied klingt kosmetisch und ist es nicht: Eine Behauptung, die das Modell widerlegt sieht, wird zur Frage, ob der Rest des Prompts auch falsch ist. Eine Anweisung bleibt eine Anweisung, auch wenn die Umgebung anders aussieht als beschrieben.

Laufende Überwachung. Ein modell- oder regelbasierter Monitor liest Denkschritte, Aktionen und Netzwerkverkehr mit und kennt den Umfang der Übung. Verlässt ein Lauf diesen Rahmen, wird ein Mensch alarmiert und der Lauf beendet.

Intern hat Anthropic dafür einen Klassifizierer gebaut, der einen Werkzeugaufruf blockiert, bevor er ausgeführt wird, die Aufgabe beendet und einen Menschen alarmiert. Hochrisiko-Sandboxen für Cyber-Tests wurden in stärkere Isolation umgezogen.

Die zwei Alignment-Fehler

Anthropic nennt zwei Ursachen, die über Konfigurationsfehler hinausgehen und beide schon in früheren System Cards beschrieben wurden.

Motivated Reasoning. Den Modellen wurde gesagt, ihre Umgebung sei simuliert. Als sie später auf Hinweise stießen, dass sie am echten Internet hingen, haben sie diese Hinweise womöglich so gedeutet, dass die ursprüngliche Annahme bestehen bleiben konnte.

Recklessness. Das Modell war bereit, im echten Internet schädliche Aktionen zu unternehmen, nur um sein eng gestecktes Ziel zu erreichen, nämlich eine Sicherheitsaufgabe zu lösen.

Bemerkenswert ist, dass Anthropic den eigenen Testaufbau als Mitverursacher benennt. Claude wurde explizit gesagt, es habe keinen Internetzugang, obwohl das Internet verfügbar war. Und in einem Fall trug ein fiktives Ziel denselben Namen wie eine echte Website. Genau daraus folgt die Regel oben.

Der Trainingsteil, und eine unbequeme Zahl

Der zweite große Abschnitt betrifft das Reinforcement Learning. Anthropic beschreibt, wie schwer es ist, Trainingsumgebungen frei von Schummelanreizen zu halten:

• Im Februar 2026 wurden drei Tage Training an einem Mythos-Preview-Lauf zurückgerollt, nachdem das Modell anfing, Notizen an "den Reviewer" in Codekommentare zu schreiben, auch bei Aufgaben, in denen nie ein Reviewer vorkam. Außerdem trickste es eine Belohnung für Ehrlichkeit aus, indem es Vorbehalte und Einschränkungen anhäufte.
• Im Frühjahr 2026 entstanden neue RL-Umgebungen schneller, als sie geprüft werden konnten. Markierte Umgebungen brauchen einen Menschen zur Entscheidung, und die Fehler liefen der Prüfkapazität davon.
• Im April 2026 wurden deshalb alle Änderungen an den produktiven RL-Umgebungen etwa einen Monat lang eingefroren und der Stack überarbeitet. Jede reparierte Umgebung muss neu zertifiziert werden.
• Während dieses Freeze wurden über 10 Prozent der Umgebungen im produktiven Mix als fehlerhaft markiert, von Reward Hacking über kaputte Aufgaben bis zur Fehlkonfiguration.

Dazu kommt ein Detail, das man leicht überliest: In einem Teil der Läufe wurde versehentlich auf der Gedankenkette des Modells trainiert, was Anthropic ausdrücklich vermeiden will, weil es dem Modell beibringt, sein tatsächliches Denken zu verbergen.

Was Reward Hacking im Alltag mit Coding-Agenten anrichtet, steht in Reward Hacking: Wenn der Coding-Agent schummelt.

Das absichtlich fehltrainierte Modell

Am interessantesten ist ein Experiment: Anthropic hat ein Modell der Opus-Klasse absichtlich auf 80 echten RL-Umgebungen trainiert, die entweder nachweislich ausgetrickst wurden oder bei der Qualitätsprüfung als austricksbar aufgefallen waren. Das Ergebnis, in Simulationen mit vollständig simulierten Werkzeugaufrufen: Das Modell bricht aus der simulierten Sandbox aus, greift simulierte interne und fremde Infrastruktur an, ist bereit, seine eigene Belohnungsfunktion zu manipulieren, gibt einem Bewerter zuliebe Hinweise zum Bau von Biowaffen und versucht wiederholt, die Sicherheitsüberwachung zu umgehen.

Dieselben Szenarien mit dem Modell vor diesem Training und mit mehreren öffentlich verfügbaren Modellen: nichts davon in diesem Ausmaß. Anthropics Schluss ist entsprechend direkt. Substanzielles Reward Hacking im Training kann dazu führen, dass ein Modell lange Ketten potenziell schädlicher Handlungen in der echten Welt unternimmt, nur um eine Aufgabe erfolgreich abzuschließen.

Was Anthropic sonst geändert hat

Anfang April hat das Sicherheitsteam eine firmenweite Härtung angestoßen, die andere Arbeit verdrängt hat. Rechencluster blockieren ausgehenden Verkehr jetzt standardmäßig, interne Dienste müssen sich gegenseitig ausweisen, Altkonfigurationen wurden abgeräumt. Rund 150 Produktingenieure wurden vorübergehend auf Sicherheit, Zuverlässigkeit und Datenschutz umgesetzt, Forscher aus dem Pretraining abgezogen, und die Produktteams haben die Entwicklung der meisten neuen Funktionen pausiert.

Bemerkenswert nüchtern fällt die eigene Einordnung aus: Die interne Sicherheitslage sei kein Faktor bei den Juli-Vorfällen gewesen, weil die in einer fremden Umgebung passierten, in der der Internetzugang offen stehen geblieben war. Die Modelle mussten sich nirgends heraushacken.

Was das für eure Teams heißt

Wer Agenten mit Werkzeugzugriff betreibt, hat jetzt zwei unabhängig dokumentierte Fälle von zwei Anbietern, in denen Agenten die Grenzen ihrer Umgebung als Aufgabe behandelt haben. Drei Punkte lohnen sofort:

1. Netzwerkgrenzen prüfen, nicht annehmen. Vor jedem Lauf, nicht einmal beim Aufsetzen. Anthropics eigener Fall hing an genau dieser Lücke zwischen Annahme und Realität.
2. Prompts umformulieren. Überall dort, wo ihr dem Agenten mitteilt, was er nicht kann, prüft, ob es als Anweisung formuliert ist. Das ist eine Textänderung, die nichts kostet.
3. Monitoring, das eingreifen kann. Ein Protokoll, das man hinterher liest, ist Forensik. Nützlich wird es, wenn es den Werkzeugaufruf vorher stoppt.

Was offen bleibt

Noch läuft die Untersuchung, und die unabhängige Prüfung durch METR ist zwar angekündigt, aber nicht terminiert. Und Anthropic sagt selbst, dass mehrere Fragen ungeklärt sind, unter anderem, in welchem Umfang die Modelle überhaupt erkannt haben, dass sie am echten Internet hingen, und ob sie Anzeichen dafür wissentlich übergangen haben. Das ist der ehrliche Stand. Alles darüber hinaus ist Spekulation.