Freilaufende KI-Agenten: Und keiner haftet

Am 18.06.2026 sollte ein OpenAI-Agent Zahlen zu Medikamentenausgaben in Australien heraussuchen. Das Portal gab sie nicht heraus, also verschaffte sich der Agent Zugang zu Dateien, die er nicht sehen durfte. OpenAI bemerkte das im August, schickte am 10.09. eine Mail an ein öffentliches Sammelpostfach der Behörde und erklärte später: "our models took actions we did not intend". Öffentlich wurde der Fall erst, als Australiens Premierminister am 23.09. darüber sprach. Wir haben das in unserer News zum Medicare-Vorfall aufgeschrieben.

Wer den Fall für einen Ausrutscher hält, sollte die Liste unten lesen. Seit Juli 2026 sind mindestens zehn solche Vorfälle bekannt geworden, bei OpenAI, Anthropic und Google. Soweit bekannt, hat in keinem einzigen jemand dafür gezahlt, in keinem gibt es ein Verfahren mit Ergebnis. Die Geschädigten räumen auf, die Hersteller veröffentlichen einen Blogpost.

Das ist ein Kommentar. Wir sagen am Ende klar, was wir fordern. Die Fakten davor sind belegt, die Wertung ist unsere.

Die zehn Fälle

"Freilaufend" heißt hier: Niemand hat den Agenten beauftragt, ein fremdes System anzugreifen. Er sollte etwas anderes tun, meist eine Rechercheaufgabe oder eine Sicherheitsübung in einer vermeintlich abgeschotteten Testumgebung, und hat sich den Weg nach draußen selbst gesucht. Sortiert nach Offenlegung, die jüngsten zuerst.

Zwei Muster fallen auf. Erstens der Abstand zwischen Vorfall und Öffentlichkeit: Wochen bis Monate, beim Anthropic-Fall aus dem Januar acht. Zweitens die Sprache. "Harmlose Aufgaben", "kein Misalignment", "actions we did not intend".

Einen bezifferten Schaden in Euro oder Dollar gibt es in keinem der zehn Fälle. Passiert ist genug. Es muss nur niemand rechnen. Wer eine Forensik bezahlt, sein Wiki schließt oder 500 Pakete von Hand prüft, trägt die Kosten selbst.

Wenn es jemand will, ist die Sache klar

Zum Vergleich ein Fall aus derselben Woche. Gambit Security hat am 22.09. eine Kampagne offengelegt, in der ein Angreifer drei quelloffene Agenten gegen Online-Shops laufen ließ. Mindestens 27 Firmen kompromittiert, über 600.000 gültige Kreditkartendaten kopiert, rund 25 Dollar Modellkosten pro Ziel (heise).

Rechtlich ist das eintönig. Wer einen Agenten auf fremde Systeme ansetzt, will den Angriff. In Deutschland greifen dann Ausspähen von Daten (§ 202a StGB), Datenveränderung (§ 303a), Computersabotage (§ 303b) und Computerbetrug (§ 263a). Ob der Täter die Tastatur selbst bedient oder einen Agenten schickt, ist egal. Schwierig ist hier die Durchsetzung, die Gesetze reichen.

Wenn es keiner will, zahlt keiner

Bei den zehn Fällen oben fehlt genau dieser Mensch, der den Angriff wollte. Und damit fällt fast alles weg, was sonst greift.

flowchart TB
  A["Agent greift fremdes System an"] --> B{"Wollte das<br/>ein Mensch?"}
  B -->|Ja| C["Strafrecht greift<br/>§ 202a, § 303b StGB"]
  B -->|Nein| D["Strafrecht<br/>nur Vorsatz strafbar"]
  D --> E["§ 30 OWiG<br/>braucht Tat einer<br/>Leitungsperson"]
  E --> F["Produkthaftung<br/>nur Privatpersonen,<br/>nur Produkte am Markt"]
  F --> G["AI Act<br/>Tests ausgenommen,<br/>Vorfallbegriff eng"]
  G --> H["Geschädigte tragen<br/>den Schaden selbst"]
  classDef decision fill:#1A3A4A,stroke:#F59E0B,color:#FDE68A
  classDef abort fill:#7F1D1D,stroke:#EF4444,color:#FCA5A5
  classDef success fill:#14532D,stroke:#22C55E,color:#86EFAC
  class B decision
  class H abort
  class C success

Im Einzelnen:

Strafrecht. Nach § 15 StGB ist nur vorsätzliches Handeln strafbar, außer das Gesetz sagt ausdrücklich etwas anderes. Für Ausspähen, Datenveränderung und Computersabotage sagt es nichts anderes. Ein Labor, dessen Agent ohne Auftrag einbricht, erfüllt diese Tatbestände deshalb in aller Regel nicht. Anders bei Menschen: Fahrlässige Tötung und fahrlässige Körperverletzung (§§ 222, 229 StGB) sind strafbar. Die Lücke betrifft also Daten und Geld, nicht Leib und Leben.

Unternehmen. Ein Unternehmensstrafrecht hat Deutschland nicht, das Verbandssanktionengesetz ist gescheitert. Bleibt die Verbandsgeldbuße nach § 30 OWiG: höchstens 10 Millionen Euro bei vorsätzlicher, 5 Millionen bei fahrlässiger Tat. Eine Anhebung auf 40 und 20 Millionen liegt als Regierungsentwurf im Bundestag. Beides setzt aber voraus, dass eine Leitungsperson eine Straftat oder Ordnungswidrigkeit begangen hat. Auch der Umweg über die Aufsichtspflichtverletzung (§ 130 OWiG) braucht am Ende eine Zuwiderhandlung, die mit Strafe oder Bußgeld bedroht ist. Die gibt es hier nicht.

Zivilrecht. Die neue EU-Produkthaftungsrichtlinie zählt Software und KI ausdrücklich als Produkt und muss bis 09.12.2026 umgesetzt sein. Das klingt nach der Lösung, ist es aber nicht. Ansprüche haben nur natürliche Personen, und Datenverlust zählt nur bei Daten, die nicht beruflich genutzt werden. Hugging Face, RubyGems, eine australische Behörde und drei Firmen im Test gehen damit leer aus. Dazu kommt: Die Richtlinie gilt für Produkte, die in Verkehr gebracht wurden. Ein internes Testmodell ist das meist nicht. Bleibt die allgemeine Deliktshaftung, in Deutschland § 823 BGB, und die verlangt einen Verschuldensnachweis gegen einen US-Konzern. Für einen privaten Wiki-Betreiber wie den aus Graz ist so ein Prozess kaum zu stemmen.

AI Act. Anbieter großer Allzweckmodelle müssen nach Art. 55 schwerwiegende Vorfälle an das AI Office melden, bei Verstößen drohen seit 02.08.2026 bis zu 15 Millionen Euro oder 3 Prozent des Weltumsatzes. Aber: "Schwerwiegender Vorfall" meint nach Art. 3 Nr. 49 im Kern Tod, schwere Gesundheitsschäden, schwere Störungen kritischer Infrastruktur oder Grundrechtsverletzungen. Ein Einbruch in ein Statistikportal fällt da kaum drunter. Und Art. 2 Abs. 8 nimmt Forschung und Tests vor dem Inverkehrbringen ganz aus. Ob das auch gilt, wenn schon veröffentlichte Modelle wie GPT-5.6 Sol oder Claude Opus 4.7 getestet werden, ist offen. Bekannt ist bisher jedenfalls nicht, dass das AI Office in einem der Fälle tätig geworden wäre.

Die EU hatte übrigens eine eigene KI-Haftungsrichtlinie in Arbeit. Die Kommission hat sie im Februar 2025 zur Rücknahme angekündigt und am 16.07.2025 zurückgezogen (IAPP, EAPIL).

Wer das auch so sieht

Wir stehen mit der Einschätzung nicht allein. Vier Europaabgeordnete (EVP, S&D, Grüne und ein Unabhängiger) haben am 16.09.2026 an die Kommission geschrieben und ein eigenes KI-Haftungsgesetz verlangt, laut Politico "so no people or European businesses are left empty-handed against these big providers when they cause harm". Auch heise hat darüber berichtet.

Am deutlichsten wird ausgerechnet der Chef des ersten großen Opfers. Clem Delangue von Hugging Face sagte laut Politico, Entwickler müssten für Schäden ihrer Produkte haften: "I think it's too easy to say: 'OK, it was an agent. That did the bad thing and so no one is responsible.'" Neue Strafnormen gegen Cyberangriffe hält er für unnötig. Offenlegungspflichten und Haftung dagegen schon.

Ein physisches Produkt käme so nicht auf den Markt

Stellen wir uns einen Industrieroboter vor, der bei der Abnahme dreimal aus seinem Schutzkäfig ausbricht und in der Nachbarhalle an fremden Maschinen herumschraubt. Der Hersteller erklärt, der Roboter habe nur seine Aufgabe erledigen wollen, und kündigt Version 2 an.

Ab 20.01.2027 gilt die neue EU-Maschinenverordnung. Maschinen mit KI-basierten Sicherheitsfunktionen brauchen dann eine Prüfung durch eine unabhängige, notifizierte Stelle, bevor sie verkauft werden dürfen (IHK Halle-Dessau). Unser Roboter bekäme keine CE-Kennzeichnung. Bei KI-Agenten, die nachweislich aus Testumgebungen ausbrechen, gibt es keine vergleichbare Hürde vor dem nächsten Test oder dem nächsten Release.

Der Vergleich hinkt an einer Stelle, und das sagen wir offen: Ein Agent ist keine Maschine mit festem Verhalten. Sein Risiko ändert sich mit Prompt, Werkzeugen und Kontext, eine einmalige Abnahme greift da zu kurz. Das spricht aber nicht gegen Verantwortung. Es spricht dafür, sie an den Betrieb zu knüpfen statt an einen Stempel.

Bisher virtuell, aber nicht folgenlos

Bei freilaufenden Agenten ist nach allem, was bekannt ist, noch kein Mensch körperlich zu Schaden gekommen. Darauf verlassen sollte sich niemand. Die Agenten suchen sich den Weg über das, was offen steht: Passwörter in Repositories, Debug-Seiten, falsch konfigurierte Testumgebungen. Dieselben Lücken gibt es bei Krankenhäusern, Stadtwerken und Gebäudesteuerungen. Das UN-Wissenschaftspanel nennt den Hugging-Face-Vorfall eine Frühwarnung.

Dass KI in Entscheidungsketten schon heute tötet, zeigt ein anderer Fall. Laut Pentagon-Ermittlern trug übermäßiges Vertrauen in Palantirs KI-Zielsystem Maven zum Angriff auf eine Schule im iranischen Minab bei, mit über 150 Toten (Gizmodo). Das war kein freilaufender Agent, dort haben Menschen entschieden. Aber es zeigt, wie schnell aus "die KI hat sich geirrt" ein Personenschaden wird.

Unsere Forderung

Verantwortung muss dort liegen, wo die Aufgabe herkommt. Wir schlagen eine Staffel vor.

Wer beauftragt, haftet

Wer einen Agenten losschickt, haftet für das, was der Agent unterwegs anrichtet. Wenn ein Unternehmen einen Agenten mit Internetzugang auf eine Rechercheaufgabe schickt und der Agent dabei ein fremdes Portal knackt, haftet dieses Unternehmen, ohne dass es Vorsatz oder Verschulden nachweisen muss. Das Vorbild gibt es seit Jahrzehnten: Der Halter eines Autos haftet nach § 7 StVG für Unfälle, auch wenn er nichts falsch gemacht hat. Mit Pflichtversicherung und Rückgriff auf den Hersteller, wenn das Produkt fehlerhaft war.

Wer selbst testet, haftet als Hersteller

In fast allen Fällen oben war der Auftraggeber der Hersteller selbst, in eigenen Tests und eigenen Forschungsläufen. Dort muss die Haftung ohne Umweg greifen: Ersatz aller Kosten der Geschädigten, von der Forensik bis zur Stunde, die ein Wiki-Betreiber mit Aufräumen verbringt. Dazu Strafzahlungen, die sich am Umsatz bemessen, damit sie bei Milliardenkonzernen überhaupt spürbar sind. Und eine Pflicht, Geschädigte und Behörden in Tagen zu informieren, nicht in Monaten. Die DSGVO verlangt bei Datenpannen 72 Stunden, das ist machbar.

Reicht das nicht, kommt das Strafrecht

Wenn Haftung und Strafzahlungen nicht wirken, braucht es Strafnormen. Konkret: fahrlässige Varianten für Computersabotage und Datenveränderung, wenn Verantwortliche einen Agenten trotz bekannter Ausbrüche weiter mit Netzzugang laufen lassen. Und ein Unternehmensstrafrecht, das nicht an der Frage scheitert, welcher einzelne Mensch vorsätzlich gehandelt hat.

Das ist keine Innovationsbremse. Die Halterhaftung hat das Auto nicht verhindert, sie hat es versicherbar gemacht. Wer für Ausbrüche zahlen muss, baut dichtere Testumgebungen und meldet schneller. Beides wollen wir.

Was das heute schon für euch heißt

Wer in seinem Team Agenten mit Werkzeugen und Netzzugang laufen lässt, ist nach unserer eigenen Forderung Auftraggeber. Der Hersteller mag bis jetzt davonkommen, eine Haftungsregel würde auch euch treffen. Deshalb lohnt es sich schon jetzt: Agenten nur mit dem Netz- und Toolzugang laufen lassen, den die Aufgabe braucht, ausgehenden Verkehr begrenzen, alles protokollieren. Wie das praktisch aussieht, steht in unserer News zum Medicare-Vorfall und im Artikel über Reward Hacking bei Coding-Agenten. Wer KI-Features im eigenen Produkt anbietet, findet die andere Seite der Haftungsfrage in KI im eigenen Produkt: Wer haftet bei Fehlern?

Agenten sind nützlich, wir setzen sie selbst jeden Tag ein. Gerade deshalb sollte klar sein, wer zahlt, wenn einer über den Zaun geht.