Sicherheit

KI im eigenen Produkt: Wer haftet, wenn sie falsch liegt?

Wenn ein KI-Feature im eigenen Produkt Falsches behauptet oder diskriminiert, haftest du dafür. Was Gerichte entscheiden und wie du dich absicherst.

Ein KI-Feature ist schnell eingebaut. Ein Chatbot auf der Support-Seite, eine automatische Zusammenfassung im Produkt, ein Modell, das Bewerbungen vorsortiert. Die Frage, die dabei oft untergeht: Wer haftet, wenn das Ding Mist baut? Die kurze Antwort lautet: du. Nicht das Modell, nicht der Anbieter, nicht "die KI". Der Betreiber.

Das ist keine Theorie mehr. Im Mai 2026 hat das Landgericht München I entschieden, dass Google für falsche Aussagen in seinen "AI Overviews" geradestehen muss. Zwei Münchner Verlage waren von der KI-Übersicht fälschlich mit Betrugsmaschen und Abo-Fallen in Verbindung gebracht worden, mit Behauptungen, die in keiner der zugrundeliegenden Quellen standen. Das Gericht stufte diese Texte als Googles eigene Aussagen ein, nicht als bloße Weiterleitung fremder Inhalte. Damit greift das Haftungsprivileg für Suchmaschinen nicht (WBS Legal, heise).

Wer KI-Output an seine Nutzer ausgibt, gibt eigene Aussagen aus. Diese Logik trifft jedes Produkt mit einem KI-Feature, nicht nur Google.

Zwei Wege, wie KI dich in Haftung bringt

Die Risiken sortieren sich in zwei Muster. Sie entstehen an unterschiedlichen Stellen, brauchen unterschiedliche Gegenmittel und landen am Ende beide bei dir.

Modus A: FalschauskunftModus B: Diskriminierung
Was passiertDie KI behauptet etwas Falsches (Halluzination)Die KI benachteiligt Personengruppen systematisch
Wo es entstehtBei der Generierung im laufenden BetriebSchon in den Trainingsdaten, schlägt erst im Betrieb durch
Typisches BeispielChatbot verspricht einen Tarif, den es nicht gibtRecruiting-Tool wertet Bewerbungen von Frauen ab
RechtsgrundlagePersönlichkeitsrecht (§§ 823, 1004 BGB), ProdukthaftungAGG, DSGVO Art. 22, EU AI Act Hochrisiko
Wer es bemerktDer einzelne geschädigte Nutzer, meist sofortOft erst eine ganze Gruppe, und meist spät

Die nächsten beiden Abschnitte gehen die Modi einzeln durch, danach folgt, was konkret dagegen hilft.

Modus A: Die KI behauptet etwas Falsches

Sprachmodelle erfinden. Das nennt sich Halluzination und ist kein Bug, der sich wegpatchen lässt, sondern eine Eigenschaft der Technik. Rechtlich ist das keine Entschuldigung, sondern ein Haftungsgrund.

Der bekannteste Fall kommt aus Kanada. Air Canada hatte einen Chatbot auf der Website, der einem trauernden Kunden erklärte, er könne einen Trauertarif auch nachträglich beantragen. Das war falsch. Air Canada verweigerte die Erstattung und argumentierte vor Gericht allen Ernstes, der Chatbot sei eine eigenständige juristische Person, für deren Aussagen das Unternehmen nicht hafte. Das Tribunal kassierte das ab: Der Chatbot ist Teil der Website, und für die Inhalte seiner Website ist das Unternehmen verantwortlich, egal ob sie aus einer statischen Seite oder einem Bot kommen (CanLII, 2024 BCCRT 149). Air Canada zahlte 812,02 kanadische Dollar. Die Summe ist klein, das Signal ist groß.

Das Münchner Urteil zieht in dieselbe Richtung, nur mit deutschem Recht. Grundlage ist das Unternehmenspersönlichkeitsrecht (§§ 823, 1004 BGB). Wer eigenen Content erzeugt, ist Täter, nicht bloß Mitstörer, und kann sich nicht hinter dem automatisierten Prozess verstecken.

Wichtig für die Einordnung: Das Münchner Urteil ist eine einstweilige Verfügung, noch nicht rechtskräftig. Und es ist nicht das letzte Wort. Nur vier Tage später bewertete das Landgericht Berlin II einen anderen Fall (Az. 52 O 62/26) gegenteilig und sah Google nicht in der Verantwortung für die AI-Overview-Inhalte (Kanzlei Plutte, Händlerbund). Die beiden Verfahren betrafen unterschiedliche Rechtsmaterien, das Berliner ging ums Marken- und Wettbewerbsrecht. Die Grundsatzfrage ist aber dieselbe: Sind KI-Zusammenfassungen eigene Inhalte des Betreibers? Zwei Landgerichte, zwei Antworten. Eine höchstrichterliche Klärung durch den BGH steht aus. Verlass dich also nicht auf ein einzelnes Urteil, sondern auf das Muster, das sich abzeichnet.

Ab Dezember 2026 kommt eine zweite Front dazu. Die neue EU-Produkthaftungsrichtlinie ((EU) 2024/2853) zählt Software und KI-Systeme erstmals ausdrücklich zu den "Produkten". Keine Haftungsobergrenze mehr, erleichterte Beweislast für Geschädigte, und bei komplexen KI-Systemen kann ein Gericht die Fehlerhaftigkeit vermuten, wenn der Hersteller seine Unterlagen nicht offenlegt (FPS Law). Für Anbieter von KI-Funktionen verschiebt das die Lage spürbar.

Modus B: Die KI diskriminiert

Der zweite Modus ist subtiler und sitzt tiefer. Er entsteht schon im Training und schlägt erst in der Nutzung durch. Wenn die Trainingsdaten verzerrt sind, übernimmt das Modell die Verzerrung und gibt sie als scheinbar neutrale Entscheidung wieder aus.

Das ist gut belegt. Die Studie "Gender Shades" von Joy Buolamwini und Timnit Gebru testete 2018 kommerzielle Gesichtserkennung. Bei hellhäutigen Männern lag die Fehlerrate unter einem Prozent. Bei dunkelhäutigen Frauen stieg sie auf bis zu 34,7 Prozent (MIT Media Lab). Der Grund war simpel: In den Trainingsdaten waren helle Gesichter und Männer überrepräsentiert. Das System hatte schlicht nicht genug gelernt, um den Rest zuverlässig zu erkennen.

Amazon erlebte dasselbe Muster bei einem KI-Tool, das Bewerbungen vorsortieren sollte. Trainiert auf zehn Jahre überwiegend männlicher Bewerbungen, lernte das System, Lebensläufe mit dem Wort "Frauen" abzuwerten und Absolventinnen reiner Frauenhochschulen schlechter zu bewerten (MIT Technology Review). Geschlecht war kein Eingabefeld, das Modell rekonstruierte es über Wortwahl und Lebenslaufdetails. Amazon stellte das Projekt ein.

Wie groß der Schaden im Echtbetrieb wird, zeigt die niederländische Toeslagenaffaire. Die Steuerbehörde nutzte ein automatisches Risikosystem, das doppelte Staatsangehörigkeit und ausländisch klingende Namen als Betrugsindikatoren wertete. Rund 26.000 Familien wurden zu Unrecht des Betrugs beschuldigt und zu Rückzahlungen von oft mehreren zehntausend Euro gezwungen. Der Skandal trug 2021 zum Rücktritt der Regierung Rutte III bei (Wikipedia, Europäisches Parlament).

Rechtlich greifen hier mehrere Hebel gleichzeitig. Das Allgemeine Gleichbehandlungsgesetz (AGG) gilt auch für algorithmische Entscheidungen, einschließlich mittelbarer Diskriminierung durch scheinbar neutrale Kriterien. Die Beweislastumkehr in § 22 AGG hilft Betroffenen, auch wenn die Black Box es ihnen schwer macht (Gleiss Lutz). Eine vielfach geforderte AGG-Reform, die automatisierte Entscheidungen ausdrücklich erfasst, ist Stand Juni 2026 noch nicht verabschiedet. Dazu kommt Art. 22 DSGVO, der rein automatisierte Entscheidungen mit erheblicher Wirkung über Personen grundsätzlich verbietet.

Und ab dem 2. August 2026 wird der EU AI Act ernst. Recruiting, Kreditwürdigkeitsprüfung und biometrische Systeme zählen zu den Hochrisiko-Anwendungen nach Annex III (Annex III, Volltext). Wer so etwas betreibt, muss Datenqualität nachweisen, Bias testen, menschliche Aufsicht sicherstellen und alles dokumentieren. Das gilt EU-weit, also auch in Österreich. Die Schweiz hat ein eigenes Datenschutzgesetz, Schweizer Firmen mit Angebot in der EU fallen aber trotzdem unter den AI Act.

Was schützt, und was nicht

Es gibt kein einzelnes Häkchen, das dich absichert. Was hilft, ist ein Schichtenmodell.

MaßnahmeWas sie bringtGrenze
RAG / QuellenbindungModell antwortet aus geprüftem Wissensbestand, Halluzination sinkt, Antworten werden nachvollziehbarSchlechtes Retrieval erzeugt neue Fehler, das Modell kann den Kontext ignorieren
Output-GuardrailsFiltern Toxizität, offensichtliche Falschaussagen und Bias vor der AusgabeLassen sich durch geschickten Kontext austricksen, keine Garantie
Fairness-TestingPflicht für Hochrisiko-Systeme, deckt Diskriminierung vor dem Livegang aufNur so gut wie die getesteten Gruppen und Metriken
Human-in-the-LoopEchte menschliche Prüfung nimmt die Entscheidung aus dem rein automatisierten BereichPro-forma-Klicken zählt nicht, der Mensch muss wirklich entscheiden können
Logging / Audit-TrailRekonstruiert im Streitfall, wer was wann auf welcher Basis entschiedLogs müssen unter deiner Kontrolle liegen, nicht nur beim Anbieter

Für Fairness-Tests gibt es fertige Werkzeuge wie IBM AI Fairness 360 oder die Google Fairness Indicators. Beide messen Modellgüte getrennt nach demografischen Gruppen, statt nur einen Gesamtwert auszuweisen. Für Hochrisiko-Systeme ist diese Art Prüfung nach Art. 10 EU AI Act nicht optional, sondern Pflicht.

Ein Punkt, der viele überrascht: Der Disclaimer rettet dich nicht. Air Canada hatte irgendwo auf der Seite die korrekten Bedingungen verlinkt. Das Tribunal ließ das nicht gelten, weil der Kunde nicht erraten muss, welcher Teil der Website stimmt und welcher nicht. Ein "Diese KI kann Fehler machen" am Seitenrand entbindet dich nicht, wenn der Nutzer im konkreten Fall berechtigt auf die Auskunft vertrauen durfte. Was zählt, ist die tatsächliche Sorgfalt bei der Qualität, nicht der Hinweis darauf, dass es schiefgehen könnte.

Was das für deine Rolle heißt

Fazit

Die Rechtslage ist in Bewegung, München und Berlin widersprechen sich, der BGH muss noch ran. Aber die Richtung ist klar genug, um danach zu handeln: KI-Output ist dein Output. Du kannst die Verantwortung nicht ans Modell delegieren, an den Anbieter oder an einen Disclaimer. Zwei Fehlerarten musst du im Blick haben, die erfundene Behauptung und die diskriminierende Entscheidung. Gegen beide hilft kein Zauberhäkchen, sondern saubere Arbeit: Quellen binden, Output prüfen, Bias testen, Menschen an den richtigen Stellen einbauen und alles protokollieren. Wer das vor dem Livegang macht, spart sich den teuren Teil danach.

Quellen6