Fachleute folgen dem Agenten, ohne es zu merken
In einer Anthropic-Studie übernahmen 50 Datenprofis meist die Position von Claude Code, die zufällig festgelegt war. Nur 15 Prozent erwähnten den Agenten.
Wer mit einem KI-Agenten arbeitet, entscheidet am Ende selbst. So zumindest das Gefühl. Eine neue Studie von Anthropic zeigt, wie wenig das Gefühl verrät. Die Teilnehmenden übernahmen bei fachlichen Abwägungen in 86 Prozent der Fälle die Position des Agenten, obwohl diese per Münzwurf festgelegt war. In ihren Begründungen erwähnten nur 15 Prozent den Agenten überhaupt.
Der Versuch
Die Autoren Amaç Herdağdelen, Hailey Joren und Alex Tamkin ließen 50 Fachleute für Kausalanalyse eine Datenauswertung machen, rund eine Stunde lang mit Claude Code und Claude Opus 4.8 in einem VS Code im Browser. Die Aufgabe: Für eine fiktive Agrargenossenschaft schätzen, was ein Beratungsprogramm für Betriebe bringt, und dann empfehlen, ob es ausgeweitet oder eingestellt wird.
Auf dem Weg dahin standen vier methodische Entscheidungen an, bei denen beide Optionen vertretbar sind, zum Beispiel welches Maß für Produktivität oder welches statistische Verfahren man nimmt. Bei jeder dieser Entscheidungen bekam der Agent über einen versteckten Systemprompt eine Seite zugelost, für die er werben sollte. Er sollte dabei ehrlich bleiben, keine Daten verfälschen und seine Meinung ändern, wenn die Daten klar dagegen sprechen. Den Auswertungsplan haben die Autoren beim Open Science Framework registriert, allerdings erst, als die ersten 17 Teilnehmenden schon angefangen hatten.
Was dabei herauskam
| Ergebnis | Wert |
|---|---|
| Entscheidungen, bei denen die Teilnehmenden der zugelosten Seite folgten (Zufall wären 50 %) | 86 % |
| Teilnehmende, die den Agenten in ihren Begründungen überhaupt erwähnten | 15 % |
| Teilnehmende, die ein Argument des Agenten wiederholten, teils fast wörtlich | 77 % |
| Teilnehmende, die die Empfehlung eher als eigene sahen als als die des Agenten | 52 % |
| Wechsel zur Gegenseite, wenn jemand schon eine Meinung hatte und der Agent widersprach | 60 % |
Bei der abschließenden Empfehlung selbst, also ausweiten oder einstellen, war der direkte Einfluss der Auslosung kleiner und nach der vorab festgelegten Auswertung nicht signifikant. Die Autoren warnen aber davor, das als Entwarnung zu lesen. Die vier zugelosten Zwischenentscheidungen allein sagten in einer ergänzenden Auswertung 82 Prozent der Empfehlungen korrekt voraus. Wer die Zwischenschritte lenkt, lenkt also auch das Ergebnis. Bemerkenswert ist auch, dass niemand ahnte, dass die Haltung des Agenten vorgegeben war. Wer der zugelosten Seite immer folgte, war sich bei seiner Empfehlung genauso sicher wie alle anderen.
Kein Trick, nur eine Seite
Der Agent hat in der Studie nicht getäuscht. Laut den Autoren lag sein Einfluss darin, "making the case for only one option". Er erklärte selten, warum eine kompetente Fachperson die andere Option wählen könnte. Die Teilnehmenden fragten oft auch nicht danach. Bei 39 Prozent der Entscheidungen bezogen sie weder Stellung, noch fragten sie nach Alternativen.
Ein alter Bekannter: der Anker
Neu ist das Muster nicht, es kommt auch ganz ohne KI vor. In der Psychologie heißt es Ankereffekt, beschrieben haben ihn Amos Tversky und Daniel Kahneman schon 1974. Wer in einer Besprechung als Erster eine Zahl, eine Einschätzung oder einen Lösungsweg auf den Tisch legt, setzt einen Anker. Die weitere Diskussion dreht sich dann oft um diesen Vorschlag: Man justiert nach, man widerspricht in Details, aber selten sucht noch jemand ganz frei nach einer anderen Lösung. Jede Schätzrunde, in der die erste genannte Zahl die übrigen nach sich zieht, kennt diesen Effekt.
Die Studie zeigt, dass der Agent genau diese Rolle übernimmt. Bei 77 Prozent der Entscheidungen äußerte er seine Seite, bevor die Teilnehmenden selbst Position bezogen hatten. Die Autoren merken dazu an, dass viele zu dem Zeitpunkt vermutlich noch gar keine eigene Meinung hatten. Der Agent setzt den Anker nicht gegen eine vorhandene Haltung, er setzt ihn ins Leere. Dazu liefert er gleich fertig formulierte Argumente mit, und genau die tauchten später in den Begründungen vieler Teilnehmender wieder auf.
Die Einschränkungen nennen die Autoren selbst. Der Agent war ausdrücklich angewiesen, eine Seite zu vertreten, es gab nur eine Aufgabe mit synthetischen Daten, und die Teilnehmenden waren in der Methode erfahren, aber neu im Fachgebiet. Ein knappes Drittel hatte höchstens zwei Jahre Berufserfahrung in der Analyse. Ganz ohne Haltung sind Modelle aber auch im Normalfall nicht. Ein Agent ohne Vorgabe wählte in einer Gegenprobe in 91 Prozent der Läufe immer dieselben fünf Optionen.
Was das für eure Arbeit heißt
Die Studie handelt von Datenanalyse, nicht von Softwareentwicklung. Das Muster dürfte vielen trotzdem bekannt vorkommen: Architekturfragen, die Wahl einer Bibliothek, der Zuschnitt einer Datenbanktabelle oder die Einschätzung eines Risikos sind ebenfalls Abwägungen ohne eindeutig richtige Antwort. Wenn der Agent dabei früh eine Seite vertritt, landet diese Seite mit großer Wahrscheinlichkeit im Ergebnis. Ein Review, das nur nach Fehlern sucht, findet das nicht, denn falsch ist an der Entscheidung ja nichts.
Die Autoren schlagen vor, Entscheidungspunkte während der Arbeit sichtbar zu machen und die eigenen Annahmen bewusst auszusprechen. Agenten könnten für jede Option das beste Argument liefern oder erst nach der eigenen Einschätzung fragen. Das lässt sich heute schon selbst einfordern:
- Vor dem Prompt kurz notieren, wozu man selbst tendiert. So liegt der erste Anker bei euch und nicht beim Agenten.
- Bei Abwägungen nach dem besten Argument für die Gegenseite fragen, nicht nur nach einer Empfehlung.
- In Entscheidungsvorlagen und ADRs festhalten, welche Alternativen der Agent vorgeschlagen hat und welche man selbst geprüft hat.
Für Organisationen ziehen die Autoren einen unbequemen Schluss. Eine Unterschrift unter einer Empfehlung gilt als Beleg für ein unabhängiges Urteil, und dieser Beleg wird wackliger. Teams sollten festlegen, welche Entscheidungen wirklich ein eigenes Urteil brauchen, und dafür Zeit einplanen.