KI-Crawler aussperren: Was heute wirklich geht

Die EU-Kommission hat ihre Konsultation zur Urheberrechtsrichtlinie am 25.06.2026 geschlossen. 432 Stellungnahmen sind eingegangen, und heise hat am 17.08. zusammengefasst, wie verhärtet die Fronten darin sind. Ein Gesetzesvorschlag wird für das erste Quartal 2027 erwartet.

Das heißt für alle, die eine Website betreiben: In den nächsten Monaten ändert sich rechtlich nichts. Es lohnt sich trotzdem, jetzt einmal nachzusehen, was auf der eigenen Seite eingestellt ist. Denn der Vorschlag, der aus der Konsultation am ehesten Gesetz werden könnte, betrifft eine Datei, die die meisten seit Jahren nicht angefasst haben.

Was gerade gilt

Das deutsche Urheberrecht erlaubt Text und Data Mining grundsätzlich. Der entscheidende Satz steht in § 44b Absatz 3 UrhG:

Ein Nutzungsvorbehalt bei online zugänglichen Werken ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt.

Wer nichts tut, erlaubt also. Der Widerspruch muss aktiv erklärt werden, und er muss maschinenlesbar sein. Was "maschinenlesbar" genau bedeutet, steht nirgends. Das ist die Lücke, um die gestritten wird.

Daneben gibt es eine zweite Ausnahme für wissenschaftliche Forschung (§ 60d UrhG), und die kennt gar kein Opt-out. Genau daran ist der bekannteste deutsche Fall gescheitert: Das Landgericht Hamburg hat die Klage des Fotografen Robert Kneschke gegen LAION am 27.09.2024 abgewiesen, weil der Datensatz unter die Forschungsausnahme fiel. Das Oberlandesgericht hat die Berufung am 10.12.2025 zurückgewiesen und die Revision zugelassen. Der BGH hat noch nicht entschieden.

Wer was fordert

Die Techseite, darunter Anthropic, Bitkom und der VDA, argumentiert: Modelle lernen Muster und keine Einzelwerke, und strenge Lizenzpflichten treffen am Ende die Kleinen, weil nur Konzerne sich flächendeckende Lizenzen leisten können.

Die Kreativseite, darunter Verlage, GEMA und der Börsenverein, hält dagegen: Das Opt-out ist praxisfern, weil einzelne Urheber nicht überwachen können, ob es eingehalten wird. Der Börsenverein spricht von systematischer Umgehung der Lizenzierung, die GEMA fordert ein eigenes Vergütungsrecht auf KI-Ausgaben statt nur auf das Training.

Interessant für die Praxis ist ein dritter Vorschlag. Wikimedia Deutschland will robots.txt zum verbindlichen Standard für den TDM-Vorbehalt machen. Das ist der einzige Beitrag in der Runde, den jeder heute Nachmittag umsetzen kann, ohne auf ein Gesetz zu warten.

Was heute geht

Die Bot-Namen ändern sich häufig. Wir haben die folgenden am 18.08.2026 in der Herstellerdokumentation nachgeschlagen, nicht aus dem Gedächtnis geschrieben.

Nur fürs Training sperren, Suche und Abruf durchlassen, sieht so aus:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Zwei Feinheiten dazu, die regelmäßig durcheinandergehen:

Google-Extended ist kein Crawler. Es ist ein reines Steuerkürzel. Gecrawlt wird weiter vom Googlebot, das Kürzel entscheidet nur, ob das Ergebnis in künftige Gemini-Modelle einfließt. Google schreibt ausdrücklich, dass es weder die Aufnahme in die Google-Suche noch das Ranking beeinflusst. Wer es sperrt, verliert also keine Sichtbarkeit.

ChatGPT-User und Claude-User sind kein Training. Diese Abrufe passieren, weil eine Person gerade nach deiner Seite gefragt hat. OpenAI weist bei ChatGPT-User sogar darauf hin, dass er sich nicht zwingend an die robots.txt hält, weil er nicht automatisiert läuft. Wer diese beiden sperrt, sperrt Leser aus, nicht Trainingsläufe.

Wenn die Seite hinter Cloudflare liegt, gibt es die Schalter dort auch als Oberfläche, getrennt nach Search, Training und Agent. Wie diese drei Kategorien gemeint sind und warum wir bei KIberblick alle drei durchlassen, steht in Cloudflare: AI-Bots in Search, Training, Agent.

Zusätzlich zur robots.txt kann ein Vorbehalt im Impressum oder in den Nutzungsbedingungen stehen. Das Landgericht Hamburg hat in der LAION-Entscheidung die Auffassung vertreten, dass eine Erklärung in natürlicher Sprache die Maschinenlesbarkeit erfüllen kann, weil heutige Modelle natürliche Sprache lesen. Das war für den Ausgang des Verfahrens nicht entscheidend, es ist eine erstinstanzliche Einschätzung, und die Revision liegt beim BGH. Als zusätzlicher Gürtel neben dem Hosenträger schadet ein solcher Absatz nichts. Als alleinige Absicherung würden wir uns nicht darauf verlassen.

Was es nicht leistet

Hier ist Ehrlichkeit wichtiger als ein guter Ratschlag.

Eine robots.txt ist eine Bitte, keine Sperre. Sie wird technisch nicht durchgesetzt. Wer sie ignoriert, bekommt trotzdem alles. Die Messungen, die es dazu gibt, sehen zwar hohe Befolgungsquoten bei den bekannten Anbietern, aber genau die halten sich ohnehin an Regeln. Unbekannte Scraper stehen in keiner Statistik.

Rückwirkend hilft sie ebenfalls nicht. Was einmal in einem Trainingslauf gelandet ist, kommt daraus nicht wieder heraus. Ein heute gesetzter Vorbehalt wirkt auf künftige Läufe.

Und Disallow ist keine Garantie fürs Nichterscheinen. Es verbietet das Crawlen, nicht das Indexieren. Warum das ein Unterschied ist und wann man zusätzlich den x-robots-tag braucht, haben wir in Geteilte KI-Chats landen in der Google-Suche auseinandergenommen.

Was daraus folgt

Für die meisten Teams ist das eine Zehn-Minuten-Aufgabe: robots.txt aufmachen, nachsehen, ob überhaupt eine Regel drinsteht, und bewusst entscheiden. Nicht sperren ist eine legitime Entscheidung, wir haben sie für KIberblick selbst so getroffen. Sie sollte nur eine Entscheidung sein und kein Versehen.

Wer Inhalte für Kunden produziert oder verwaltet, hat noch eine zweite Aufgabe. Bei fremden Inhalten ist der Vorbehalt keine Geschmacksfrage, sondern gehört geklärt, bevor jemand anders die Frage stellt. Falls im Vertrag nichts dazu steht, ist der Anlass gerade günstig.

Ab dem ersten Quartal 2027 kann sich das alles ändern. Sollte der Wikimedia-Vorschlag durchkommen, wird aus dem heutigen Behelf ein Standard mit Rechtsfolge, und dann ist eine leere robots.txt kein neutraler Zustand mehr. Was der Rest des europäischen Regelwerks schon heute verlangt, steht in EU AI Act: Fristen und was gilt wann. Wie ein Gericht die TDM-Ausnahme zum ersten Mal kassiert hat, als ein Modell Trainingsinhalte auswendig gelernt hatte, steht in GEMA gegen Suno.