robots.txt und KI-Crawler richtig einstellen

Die robots.txt einer Website hat sich lange niemand angeschaut. Jetzt ist sie der Ort, an dem entschieden wird, ob KI-Modelle mit deinen Inhalten trainiert werden, ob ChatGPT und Perplexity deine Seiten als Quelle zitieren und ob Claude eine Seite öffnen kann, wenn jemand danach fragt.

Auf den meisten Websites steht statt einer klaren Entscheidung entweder gar nichts oder eine veraltete Standarddatei. Und wer sich an das Thema setzt, steht vor einer Liste von Bot-Namen, die alle paar Monate länger wird.

Hier kommt Ordnung rein: welche Bots es gibt, was sie tun, wie du deine robots.txt sinnvoll einstellst und welche Tools dir dabei helfen.

Die drei Arten von KI-Bots

Nicht jeder KI-Bot will dasselbe. Wer pauschal alles sperrt, zahlt mit Sichtbarkeit.

Training-Crawler sammeln Inhalte, um KI-Modelle zu trainieren. Wer sie sperrt, verhindert, dass eigene Texte in zukünftige Modellversionen einfließen. Die Suchsichtbarkeit bleibt davon unberührt.

Such-Crawler indexieren Seiten, damit KI-Suchmaschinen sie als Quelle zitieren und verlinken können. Wer sie sperrt, fällt aus den Antworten von ChatGPT-Suche, Perplexity und Claude-Suche heraus.

Nutzer-Bots rufen eine Seite ab, weil eine Person gerade danach gefragt hat. Sie sind der Grund, warum Claude oder ChatGPT einen Link öffnen und zusammenfassen können. Wer sie sperrt, verliert Leser - an den Trainingsläufen ändert das nichts.

Welche Bots es gibt

Die folgende Tabelle haben wir am 05.11.2026 in der jeweiligen Herstellerdokumentation nachgeschlagen. Bot-Namen ändern sich, also vor dem Eintragen in die eigene robots.txt die verlinkte Quelle prüfen.

OpenAI

Anthropic

Google

Google-Extended ist kein eigener Crawler, sondern ein Steuertoken. Der eigentliche Crawl läuft weiter über den Googlebot. Wer Google-Extended sperrt, fällt als Quelle in den Gemini-Apps und bei Vertex AI heraus. Die Google-Suche und das Ranking bleiben davon unberührt.

Apple

Auch ein Steuertoken wie Google-Extended. Die Siri- und Spotlight-Suche läuft über Applebot und ist davon nicht betroffen.

Microsoft / Bing

Bing hat keinen eigenen KI-Training-Bot mit separatem User-Agent. Training und Grounding werden ab Anfang 2027 über das neue gemeinsame Signal gesteuert (mehr dazu unten). Wer heute NoArchive oder NoCache im Meta-Tag nutzt, um Bing vom KI-Einsatz abzuhalten, muss bis zum 01.03.2027 umstellen.

Meta

Perplexity

Perplexity betont: Keiner der beiden Bots crawlt für KI-Modell-Training.

Weitere

robots.txt richtig einstellen

Am häufigsten gewünscht: Training verhindern, aber als Quelle in KI-Suchen sichtbar bleiben. So sieht das aus:

# KI-Training sperren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

Für Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und Nutzer-Bots (ChatGPT-User, Claude-User) braucht es keine Regel, solange sie erlaubt bleiben sollen. Keine Regel heißt erlaubt.

Alles sperren

Wer weder Training noch Suche noch Abruf erlauben will:

# Alle KI-Bots sperren
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

Einzelne Bereiche schützen

Statt der ganzen Website kannst du auch nur bestimmte Verzeichnisse sperren:

User-agent: GPTBot
Disallow: /premium/
Disallow: /intern/
Allow: /

User-agent: ClaudeBot
Disallow: /premium/
Disallow: /intern/
Allow: /

Das erlaubt Training mit allen Inhalten außer /premium/ und /intern/.

Das neue gemeinsame Signal

Am 30.10.2026 haben OpenAI, Google und Microsoft angekündigt, ein gemeinsames Signal in der robots.txt zu beachten. Anthropic hat am selben Tag den technischen Entwurf bei der IETF eingereicht. Statt für jeden Anbieter eine eigene Gruppe zu pflegen, reicht dann ein Eintrag:

User-Agent: __usage_ai-training
Disallow: /

Das heißt: kein Training mit Inhalten dieser Website. Die Syntax ist die gleiche wie bei jeder anderen robots.txt-Gruppe. Der Eintrag sagt nur, wofür Inhalte verwendet werden dürfen. Ob ein Crawler die Seite abruft, regeln weiter die Gruppen mit den Bot-Namen.

Wer wann mitmacht

Was jetzt schon zu beachten ist

• Die bisherigen Bot-Gruppen (GPTBot, ClaudeBot usw.) bleiben gültig. Stehen lassen, bis alle Anbieter das neue Signal tatsächlich auswerten.
• User-Agent: * mit Disallow: / gilt laut dem Entwurf nicht als Widerspruch gegen Training. Das gemeinsame Signal braucht seine eigene Gruppe.
• Suche und Abruf auf Nutzer-Anfrage bleiben davon unberührt; das Signal betrifft nur generatives Training.

Die ausführliche Einordnung steht in Gemeinsames robots.txt-Signal gegen KI-Training.

Prüfen und generieren: hilfreiche Tools

Wer nicht von Hand prüfen will, ob die robots.txt stimmt, hat mehrere Möglichkeiten:

Backlinko AI Crawler Checker prüft eine Domain auf Training-, Such- und Nutzer-Bots und gibt einen Crawler-Access-Score mit priorisierter Fehlerliste. Kostenlos, drei Checks pro Tag, kein Account nötig.

LLM Pulse Robots.txt Generator erzeugt eine robots.txt mit Presets: alle KI-Bots erlauben, nur Training sperren oder alles sperren. Einzelne Bots lassen sich umschalten. Kostenlos.

Known Agents (ehemals Dark Visitors) trackt Bot-Traffic und bietet eine automatisch aktualisierte robots.txt. Dazu kommen Referral-Tracking aus ChatGPT, Claude und Co. sowie Bot-Blocking für Crawler, die die robots.txt ignorieren. Kostenpflichtig.

SEOnautik prüft neben der robots.txt auch, ob ChatGPT, Claude, Perplexity und Gemini eine Website in ihren Antworten nennen. Der Kurz-Check ist kostenlos, der vollständige Report mit KI-Messung kostet 59 EUR.

Was die robots.txt nicht leistet

Drei Punkte, die regelmäßig durcheinandergehen:

Sie ist eine Bitte, keine Sperre. Technisch durchgesetzt wird die robots.txt nicht. Wer sie ignoriert, bekommt trotzdem alles. Die bekannten Anbieter halten sich daran, aber unbekannte Scraper stehen in keiner Statistik.

Rückwirkend hilft sie nicht. Was einmal in einem Trainingslauf gelandet ist, kommt daraus nicht wieder heraus. Ein heute gesetzter Eintrag wirkt auf künftige Läufe.

Disallow ist keine Deindexierung. Disallow verbietet das Crawlen. Indexieren kann eine Suchmaschine eine Seite trotzdem. Eine Seite kann in einem Suchindex auftauchen, ohne dass der Crawler sie besucht hat, etwa über Links von anderen Seiten. Wer zusätzlich die Indexierung verhindern will, braucht den x-robots-tag oder das noindex-Meta-Tag.

Checkliste

1. robots.txt aufmachen und nachsehen, was drinsteht. Viele Websites haben gar keine Regel oder nur eine Standarddatei vom CMS.
2. Bewusst entscheiden: Training erlauben, sperren oder differenziert nach Bereichen regeln. Nicht sperren ist eine legitime Entscheidung, sie sollte nur eine Entscheidung sein und kein Versehen.
3. Training und Suche trennen: Wer Training sperrt, sollte die Such-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) stehen lassen, sonst fällt die Seite aus den KI-Suchergebnissen.
4. Bing-Frist beachten: Wer NoArchive oder NoCache gegen KI-Nutzung einsetzt, muss bis zum 01.03.2027 auf die neuen Einstellungen umstellen.
5. Neues Signal vorbereiten: Die Gruppe User-Agent: __usage_ai-training jetzt schon eintragen, sofern die robots.txt von Hand gepflegt wird. Sie schadet nicht und wirkt, sobald die Anbieter sie auswerten.
6. Nach dem Deploy prüfen: Wer die robots.txt generieren lässt, sollte die ausgelieferte Datei ansehen, ob die Einträge so dastehen wie gedacht. Ein robots.txt-Checker (siehe oben) hilft dabei.

Die rechtlichen Hintergründe, warum ein robots.txt-Eintrag in der EU bald mehr Gewicht bekommen könnte, stehen in KI-Crawler aussperren: Was heute wirklich geht. Wer hinter Cloudflare liegt, kann die Schalter dort auch als Oberfläche nutzen, getrennt nach Search, Training und Agent. Wie diese drei Kategorien gemeint sind, steht in Cloudflare: AI-Bots in Search, Training, Agent.