Gemeinsames robots.txt-Signal gegen KI-Training

Wer heute verhindern will, dass die eigenen Inhalte in das Training von KI-Modellen fließen, pflegt in der robots.txt eine Liste: GPTBot, ClaudeBot, Google-Extended und so weiter, für jeden Anbieter eine eigene Gruppe. Das soll einfacher werden. Am 30.10.2026 haben OpenAI, Google und Microsoft angekündigt, ein gemeinsames Signal zu beachten, mit dem eine Website dem Training mit einem einzigen Eintrag widerspricht. Anthropic hat am selben Tag den technischen Entwurf dafür bei der IETF eingereicht.

So sieht der Eintrag aus

Grundlage ist ein Internet-Draft von Kevin Kelley (Anthropic) aus dem Umfeld der IETF-Arbeitsgruppe AI Preferences (AIPREF). Neue Syntax gibt es nicht. Statt eines Crawler-Namens steht hinter User-Agent ein Platzhalter für den Zweck, darunter folgen die üblichen Regeln:

User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Das heißt: kein Training mit Inhalten der Website, außer mit allem unter /presse/. Die Pfadlogik ist dieselbe wie bei jeder anderen robots.txt-Gruppe.

Drei Details sollte man kennen, bevor man den Eintrag setzt:

• User-Agent: * zählt nicht. Eine allgemeine Gruppe mit Disallow: / gilt laut Draft nicht als Widerspruch gegen Training. Wer keine Gruppe mit dem neuen Token hat, hat keine Präferenz geäußert.
• Es ist keine Crawling-Regel. Der Eintrag sagt nur, wofür Inhalte verwendet werden dürfen. Ob ein Crawler die Seite abruft, regeln weiter die Gruppen mit den Bot-Namen.
• Es geht nur um generatives Training. Suche und das Nachschlagen von Inhalten zur Beantwortung einer Anfrage deckt der Draft nicht ab. Bereits gesammelte Trainingsdaten betrifft er auch nicht.

Wer wann mitmacht

Ihre bisherigen Steuerungen behalten alle vier bei, ein Disallow für GPTBot oder ClaudeBot gilt also weiter. Google ergänzt eine Regel für das Zusammenspiel: Widerspricht eine Website über den neuen Eintrag dem Training und nennt Google-Extended nicht ausdrücklich, behandelt Google das so, als wäre Google-Extended gesperrt.

Microsoft baut bei der Gelegenheit mehr um. Bing trennt künftig Training und Grounding, also die Nutzung von Inhalten als Quelle für Antworten in Copilot und ähnlichen Diensten. Training läuft über das gemeinsame Signal in der robots.txt und lässt sich pro Seite übersteuern. Grounding wird nur pro Seite eingestellt. Ab dem 01.02.2027 ersetzen beide Einstellungen die bisherigen Tags NoArchive und NoCache. Wer diese Tags heute nutzt, um Bing vom KI-Einsatz abzuhalten, muss bis zum 01.03.2027 umstellen, sonst gilt für Grounding wieder die Standardeinstellung "erlaubt".

Was das Signal nicht ist

Noch ist der Draft ein Einzelentwurf und kein Dokument der Arbeitsgruppe, gültig bis Mai 2027. Bis daraus ein Standard wird, kann sich die Syntax noch ändern. Kelley schreibt selbst, dass sich die Auslegung der Signale mit dem Standard weiterentwickeln kann.

Und es bleibt eine robots.txt: eine Bitte, keine Sperre. Wer sich nicht daran hält, wird technisch nicht aufgehalten. Neu ist nur, dass die großen Anbieter derselben Bitte folgen wollen, statt dass jede Website ihre Liste von Bot-Namen aktuell halten muss.

Einordnung

Für Website-Betreiber ist das ein Fortschritt. Statt einer Liste, die bei jedem neuen Crawler veraltet, gibt es einen Eintrag mit klarer Bedeutung. Dass der Entwurf aus Anthropics Feder stammt und OpenAI, Google und Microsoft ihn am selben Tag unterstützen, macht ihn praktisch zum Standard, bevor die IETF ihn beschlossen hat.

Was heute schon geht und welche Bot-Namen man dafür braucht, steht in KI-Crawler aussperren: Was heute wirklich geht. Dort steht auch, warum ein Widerspruch in der robots.txt in der EU ab 2027 rechtlich mehr Gewicht bekommen könnte. KIberblick lässt Training bisher bewusst zu, die Gründe stehen in Cloudflare: AI-Bots in Search, Training, Agent.