Cloudflare trennt AI-Bots in Search, Training und Agent

Cloudflare hat am 1. Juli den bisher pauschalen "AI-Bot-Block" durch eine differenzierte Regelung ersetzt. Statt einer Ja/Nein-Schranke gibt es künftig drei Kategorien, die Site-Betreiber einzeln freigeben oder blockieren können. Der eigentliche Umbau kommt am 15. September 2026: Ab dann bekommen neu bei Cloudflare aufgeschaltete Domains neue Standardwerte, bei denen ein Teil der KI-Zugriffe automatisch geblockt ist.

Die drei Kategorien

Cloudflare unterscheidet nach Verhalten, nicht nach Anbieter. Ein und derselbe Crawler kann in mehreren Kategorien liegen und wird dann jeweils separat bewertet.

Kategorie	Was macht der Bot?	Beispiele
Search	Indexiert Inhalte, um später Fragen zu beantworten, mit Verweis (Referral-Traffic)	Googlebot, Bingbot, klassische Suchmaschinen-Crawler
Training	Sammelt Inhalte, um damit ein Modell zu trainieren oder feinzujustieren	GPTBot, ClaudeBot, Meta-AI-Bot, ByteSpider
Agent	Handelt in Echtzeit im Auftrag eines Menschen, holt Seite ab, liest, antwortet	ChatGPT Atlas, Perplexity Comet, Claude-Extension, Gemini Deep Research

Multi-Purpose-Crawler wie Googlebot fallen in mehrere Kategorien gleichzeitig und werden nach der jeweils strengsten anwendbaren Regel behandelt.

Was sich ab 15. September ändert

Für Bestandskunden ändert sich nichts automatisch. Wer heute schon Regeln gesetzt hat, behält sie. Neue Domains, die ab dem 15. September bei Cloudflare aufgeschaltet werden, bekommen aber neue Defaults:

Search: erlaubt
Training: blockiert auf Seiten mit Werbung
Agent: blockiert auf Seiten mit Werbung

Werbefrei betriebene Seiten sind vom Default nicht betroffen. Alle Einstellungen lassen sich pro Kategorie auf "immer blocken", "nur auf Werbe-Seiten blocken" oder "nie blocken" stellen, und zwar für alle Cloudflare-Kunden inklusive Free-Plan.

Zusätzlich schaltet Cloudflare den bisherigen "Verified Bot"-Status neu: Das Label allein garantiert künftig keinen Zugriff mehr, Betreiber solcher Crawler müssen sich unter der neuen Klassifikation neu qualifizieren. Enterprise-Kunden bekommen "BotBase", eine durchsuchbare Datenbank aller bekannten Bots mit ihrer Klassifikation.

Was das für Publisher heißt

Der Umbau ist der bislang konkreteste Marktmechanismus dafür, dass Website-Betreiber die Frage "Wer darf meine Inhalte womit was" einzeln beantworten können. In der Praxis stellen sich drei Fragen:

Sollen KI-Modelle mit meinen Inhalten trainieren dürfen? Wer Nein sagt, blockt Training. Der Preis: Man verschwindet mittelfristig aus dem Wissensstand kommender Modelle. Für Verlage mit exklusivem Content ist das die zentrale Verhandlungsposition, für kleinere Publisher meist eher symbolisch.

Sollen KI-Agenten meine Seite besuchen, wenn ein Nutzer sie darüber sucht? Wer Agent blockt, taucht in den Live-Antworten von ChatGPT-Suche, Perplexity oder Claude nicht mehr auf, der Traffic aus dem "agentischen Web" versiegt. Das ist die Kategorie, die für die Sichtbarkeit in den kommenden zwei bis drei Jahren am wichtigsten wird.

Was ist mit klassischer Suche? Search bleibt in aller Regel erlaubt, sonst verschwindet man auch aus Google. Nur wenige Publisher haben das je bewusst geblockt.

Was wir bei KIberblick machen

KIberblick läuft hinter Cloudflare (Full Strict, Origin CA Cert bis 2041). Cloudflare ist übrigens auch für kleinere Seiten sehr praktisch: Der Free-Plan reicht für die meisten Blogs, Portfolios und kleinen Firmenseiten problemlos aus, inklusive CDN, TLS und Basis-DDoS-Schutz. Die neuen AI-Bot-Kontrollen gelten explizit auch dort, man muss also nicht auf einen Pro- oder Enterprise-Plan aufrüsten, um Search, Training und Agent getrennt zu schalten.

Bei uns lassen wir aktuell alle drei Kategorien durch, Search, Training und Agent. Unsere robots.txt ist ein simples Allow: / mit Ausnahmen für Filter-URLs (Rollen-Views, Query-Parameter), die keinen eigenständigen Content tragen.

Der Grund ist nicht Ideologie, sondern Zielgruppe. IT-Profis im DACH-Raum fragen bereits heute ihre Assistenten: "Was gibt es zu MCP-Servern?", "Wie sicher ist Vibe-Coding?", "Welches KI-Coding-Tool passt zu meinem Setup?". Wenn KIberblick in diesen Antworten nicht auftaucht, existieren wir für die Zielgruppe teilweise nicht. Für uns wiegt der Nutzen (von Menschen gelesen zu werden, die eine KI zwischengeschaltet haben) schwerer als der potenzielle Trainingsdaten-Beitrag.

Wir denken trotzdem regelmäßig darüber nach. Sobald Cloudflare einen tragfähigen Weg anbietet, gezielt gegen Trainings-Crawler abzurechnen (daran wird gearbeitet), prüfen wir die Einstellung neu. Bis dahin gilt: offen für alle drei Kategorien.

Was daraus zu lernen ist

Wer eine eigene Content-Plattform betreibt, sollte in den nächsten Wochen zwei Dinge tun.

Erstens klären, ob die eigenen Domains Bestandskunden bei Cloudflare sind oder demnächst neu aufgeschaltet werden. Nur die neuen bekommen die veränderten Defaults, alte Regeln bleiben unangetastet.

Zweitens die Frage bewusst pro Kategorie entscheiden statt pauschal. Training zu blocken hat eine andere Konsequenz als Agent zu blocken. Wer Agent blockt, verschwindet aus den Live-Antworten von ChatGPT-Suche, Perplexity und Claude, und damit aus einem Traffic-Kanal, der in den nächsten zwei bis drei Jahren wichtiger wird als klassisches Google. Das ist keine reine Security-Frage mehr, sondern eine Sichtbarkeitsentscheidung auf SEO-Niveau.

Der Umbau bei Cloudflare ist Infrastruktur, keine Regulierung. Er zwingt niemanden zu einer bestimmten Wahl. Er macht die Wahl aber schwerer zu ignorieren.