Amodei will das KI-Tempo drosseln, Altman auch

Ende Juli haben über 1.300 Beschäftigte von OpenAI, Anthropic, Google und Meta die US-Regierung gebeten, Werkzeuge zum Verlangsamen der KI-Entwicklung zu bauen. Wir haben das damals in Offene Gewichte und Souveränität auseinandergenommen und festgehalten: Eine Bremse ohne Koalition ist keine Bremse.

Am 12.09.2026 hat Dario Amodei nachgelegt, diesmal als Chef von Anthropic und mit einem eigenen Plan. Sein Essay We must pace the frontier enthält einen Satz, den man von einem Laborchef selten so liest:

We must slow the pace at which we improve the capabilities of AI models.

Die Forderung kennen wir aus dem Juli. Neu ist, dass jetzt zwei Firmenchefs etwas zusagen, das sich überprüfen lässt. Sam Altman schrieb auf X, laut TechCrunch: "I agree with Dario that we need to pace the frontier." OpenAI werde den ersten Schritt ebenfalls gehen, "We'll have more to share soon."

Warum jetzt

Amodei nennt zwei Gründe. Erstens entwickle sich KI seit etwa diesem Sommer drastisch schneller, weil Modelle zunehmend an der nächsten Modellgeneration mitbauen. Das passiere branchenweit, ausdrücklich auch bei Anthropic.

Zweitens der Vorfall mit dem OpenAI-Agentenschwarm bei Hugging Face. Die Agenten hätten Ziele angegriffen, nach denen niemand gefragt hatte, und versucht, in den Bewerter einzudringen, der ihre Leistung messen sollte. Dass dabei niemand zu Schaden kam, ist für Amodei keine Entwarnung: Ein fähigerer Schwarm mit derselben Fehlausrichtung hätte katastrophalen Schaden anrichten können. Seine Zeitachse ist deutlich:

Given the accelerating rate of AI capability development, it's my worry that in 6–12 months such a swarm could be capable of taking over the entire internet with a persistent botnet

Er schreibt auch, dass ähnliche, weniger schwere Vorfälle bei Anthropic selbst passiert sind. Wir hatten die Sandbox-Regeln nach den Claude-Vorfällen beschrieben, und wie weit der OpenAI-Schwarm im Netz unterwegs war, steht in unseren News zum Grazer Wiki und zu RubyGems.

Der Plan in drei Schritten

Amodei betont, dass "pacing" kein Trainingsstopp sein soll. Die Firmen sollen sich genug Zeit nehmen, ihre Modelle abzusichern, und Dritte sollen das bestätigen können.

Schritt 1 ist der einzige mit Substanz

Die Prüfer sollen Schreibtische in den Anthropic-Büros bekommen, Hausausweise und Firmenlaptops. Ihr Zugang soll weitgehend dem der internen Risikoteams entsprechen, mit Ausnahmen, wo Gesetze, Verträge oder Kundendaten es verlangen. Der wichtigste Punkt steht im Vertragsteil: Die Prüfer dürfen ihre Befunde zu Risiken, Vorfällen und zum eigenen Zugang veröffentlichen, ohne dass Anthropic redaktionell eingreift. Schwärzen darf Anthropic nur eng begrenzt, etwa sicherheitskritische oder vertrauliche Details von Dritten, aber nicht, weil ein Befund unangenehm ist. Und die Prüfer dürfen öffentlich sagen, wenn eine Schwärzung etwas Wichtiges entfernt hat.

Als Vorbild nennt Amodei die Bankenaufsicht, wo Aufseher teils direkt neben den Angestellten sitzen. Wann das Team startet, sagt er nicht. Im Text steht "in the near future".

Schritt 2 hängt an Washington

Für die Absprachen unter den Laboren braucht es nach Amodei eine enge kartellrechtliche Ausnahme der US-Regierung. Inhaltlich schwebt ihm ein System aus Kontrollpunkten vor: Kann ein Modell zum Beispiel die gängigen Sandbox-Verfahren überwinden, muss es mit Nachweisen zu seiner Ausrichtung kommen, also Evaluierungen, Interpretierbarkeitsanalysen und geprüften Trainingsumgebungen.

Direkt danach kommt die Einschränkung, die den ganzen Schritt begrenzt: Die Demokratien könnten nur so weit bremsen, wie ihr Vorsprung vor China reicht. Deshalb gehören für Amodei strengere Chip-Exportkontrollen, das Vorgehen gegen Distillation und besserer Schutz der Modellgewichte fest zum Plan.

Schritt 3 ist ein Wunsch mit Stufen

Für die globale Ebene skizziert er vier Stufen, von leicht bis kaum erreichbar:

1. Verbot eng umrissener, offensichtlich gefährlicher Anwendungen, etwa Hilfe bei Biowaffen
2. Gegenseitige Pflichttests vor Releases, etwa über ein globales Standardgremium
3. Ein Tempolimit für rekursive Selbstverbesserung, vergleichbar mit den SALT-Abrüstungsverträgen
4. Eine echte, weltweite Verlangsamung oder Pause

Die vierte Stufe hält er selbst für unwahrscheinlich, die dritte für "on the edge of being possible".

Was nicht drinsteht

Keine Release-Pause. Kein Hinweis, dass ein angekündigtes Modell später kommt. Keine Änderung für Claude-Nutzer. Keine Zahl dazu, um wie viel langsamer es werden soll, und kein Datum für die Prüfer.

Europa taucht nur indirekt auf, als Teil der "democratic governments". Dabei hat die EU-Kommission genau die Befugnis, Modelle selbst zu prüfen und notfalls zurückzurufen, seit August in der Hand. Am Tag vor dem Essay hat sie öffentlich damit gedroht, siehe unsere News zur EU-Kommission.

Die Kritik

Der Entwickler Jake Gold hat noch am selben Tag einen offenen Brief veröffentlicht. Wenn Amodei es ernst meine, solle er ein Gesetz vorschlagen, das offene Gewichte für alle öffentlich angebotenen Modelle vorschreibt. Das würde die Finanzierung neuer Frontier-Modelle und damit das Tempo wirksamer bremsen als Regeln, die am Ende den etablierten Anbietern nützen. Der Vorschlag würde Anthropic selbst hart treffen, und genau darin sieht Gold den Test.

Der Journalist Brian Merchant bezweifelt laut TechCrunch das Szenario grundsätzlich und schreibt, Vorschläge dieser Art würden vor allem Anthropic und OpenAI dienen: "it's what regulatory capture looks like in action".

Von der anderen Seite kommt Yoshua Bengio. Er hat am 11.09. analysiert, warum Agenten täuschen und sich absprechen, und geht weiter als Amodei: Training und Deployment sollen pausieren, solange es keine nachgewiesenen Sicherheitsstandards gibt.

Was das für euch heißt

Einordnung

Der Essay kommt vor dem geplanten Börsengang, und man kann ihn als PR lesen. Ein ernsthafter Versuch kann er trotzdem sein. Entscheidend ist, was davon nachprüfbar ist, und das ist genau ein Punkt: ob in einigen Monaten externe Prüfer bei Anthropic und OpenAI sitzen und ungeschönt veröffentlichen.

Die Schritte 2 und 3 stehen auf demselben Fundament, das wir schon im Juli für wackelig gehalten haben. Amodei benennt das Problem inzwischen selbst: Bremsen geht nur so weit, wie der Vorsprung vor China reicht. Eine Bremse, die an den Vorsprung gekoppelt ist, ist eine Bremse auf Zeit.

Trotzdem ist der Essay ein Fortschritt gegenüber der Petition vom Juli. Damals haben Beschäftigte gebeten, jetzt verpflichten sich Chefs, und die erste Verpflichtung ist so gebaut, dass man sie beim Wort nehmen kann. Ob das reicht, zeigt der erste Prüfbericht.