Cloudflare: Agenten belasten Websites

Für manche Website-Betreiber sind KI-Agenten vor allem ein Kostenfaktor. Das hat Cloudflare-Chef Matthew Prince am 05.11.2026 in der Telefonkonferenz zu den Quartalszahlen gesagt, berichtet The Register. Einige Kunden sähen Agenten als Plage und wollten sie loswerden.

999 Restaurants zahlen, eines bekommt den Gast

Prince hat das an einem Beispiel erklärt. Jemand lässt einen Agenten ein Restaurant suchen. Der Agent ruft 1.000 Restaurant-Websites auf und lädt 1.000 Speisekarten herunter, der Mensch geht am Ende in eines davon. Die übrigen 999 haben laut Prince Kosten gehabt und nichts davon.

Cloudflare rechnet damit, dass der Traffic von Agenten auf das Tausendfache der Klicks von Menschen wächst. Seit dem 1. Juli haben sich laut Prince rund fünf Prozent des Webs für Cloudflares Produkte entschieden, die Inhalte vor solchen Zugriffen schützen. Das war der Tag, an dem Cloudflare die Steuerung von KI-Bots in Search, Training und Agent aufgeteilt hat.

Einordnen sollte man das mit Blick auf den Absender. Cloudflare verkauft genau die Werkzeuge, die Agenten blockieren, ihre Last abfangen oder den Zugriff kostenpflichtig machen. Und Cloudflare hat gerade ein starkes Quartal gemeldet, laut SEC-Mitteilung 782,5 Millionen Dollar Umsatz, 39 Prozent mehr als im Vorjahr. Die Tausend-zu-eins-Prognose ist eine Einschätzung des Anbieters, keine Messung.

Für alle, die Websites betreiben

Die Grundrechnung stimmt trotzdem. Ein Agent liest anders als ein Mensch. Er klickt nicht auf Werbung, sieht keine Teaser und vergleicht viele Seiten, um am Ende eine auszuwählen. Für die Seite, die gewählt wird, ist das ein Besucher. Für alle anderen ist es Last ohne Gegenwert.

Daraus folgt nicht automatisch, Agenten auszusperren. Wer sie blockt, wird auch nie ausgewählt. Die Entscheidung hängt am Geschäftsmodell. Eine werbefinanzierte Seite verliert an Agenten nur Geld. Ein Restaurant, ein Shop oder ein Dienstleister lebt davon, in der Auswahl aufzutauchen. Für diese Fälle lohnt es sich eher, den Abruf billig zu machen als ihn zu verhindern: Seiten ausliefern, die gut im Cache liegen, wichtige Daten wie Speisekarte, Preise oder Öffnungszeiten in strukturierter Form anbieten und Rate-Limits so setzen, dass ein einzelner Agent nicht die halbe Seite abräumt.

Wie ihr KI-Bots per robots.txt nach Zweck trennt, steht in unserem Ratgeber robots.txt und KI-Crawler richtig einstellen. Dort steht auch, was die robots.txt nicht kann: Sie ist eine Bitte, keine Sperre.

Für alle, die Agenten bauen

Die andere Seite der Rechnung landet bei euch. Ein Agent, der für eine Frage tausend Seiten lädt, ist nicht nur teuer für die Betreiber, er ist auch langsam und teuer im eigenen Token-Budget. Je mehr Betreiber blocken oder Gebühren verlangen, desto schlechter funktioniert ein solcher Agent.

Ein paar Regeln halten die Last klein:

Erst eingrenzen, dann abrufen. Eine Suche oder ein Verzeichnis vorschalten, statt alle Kandidaten zu laden.
Zwischenspeichern. Was der Agent vor zehn Minuten gelesen hat, muss er nicht noch einmal holen.
Sauber ausweisen. Ein eindeutiger User-Agent mit Verweis auf eine Info-Seite lässt Betreiber gezielt entscheiden. Wichtig: Persönliche Daten gehören da nicht hinein. Wie das schiefgehen kann, zeigt der Fall Claude Code, das Mailadressen seiner Nutzer im User-Agent verschickt hat.

Das W3C diskutiert gerade, welche Regeln für Agenten im Web gelten sollen. Bis daraus etwas wird, entscheiden Betreiber selbst, wen sie reinlassen. Agenten, die wenig Last machen, haben dabei die besseren Karten.