Coding-Agenten: Was der Harness wirklich kostet

Welcher Coding-Agent ist der beste? Wer das mit einem Modell und ein paar Testaufgaben vergleicht, misst vermutlich vor allem Zufall. Das legt ein Preprint von Yangze Liu und Zhongyi Han von der Shandong University nahe, über das The Decoder und VentureBeat diese Woche berichtet haben. Der Titel fasst das Ergebnis zusammen: "What Does a Harness Buy? Tokens, Mostly."

Ein Harness ist alles, was um das Modell herum läuft: System-Prompt, Werkzeuge, Umgang mit dem Kontextfenster. Claude Code, OpenCode und Codex CLI sind solche Harnesses. Wie viel sie zum Ergebnis beitragen, ist eine Frage, die sich viele Teams bei der Toolauswahl stellen.

Der Versuch

Die Autoren haben drei Harnesses mit fünf offenen Modellen auf SWE-bench Verified laufen lassen, einer Sammlung echter GitHub-Issues aus Python-Projekten:

• Harnesses: Claude Code (2.1.x), OpenCode (1.18.x) und mini-SWE-agent (2.4.6), ein bewusst schlanker Agent mit fast nur einer Shell
• Modelle: Qwen3.6-35B-A3B, Qwen3.8-27B, DeepSeek-V4-Flash, GLM-5.3-Flash und HY4-Preview. Claude Opus 5 lief nur in Claude Code mit, als Referenz
• Aufgaben: 45 besonders schwere Aufgaben und ein Pool aus 447 weiteren
• Rauschen: Zehn Konfigurationen liefen ein zweites Mal, um zu sehen, wie stark Ergebnisse schon bei identischem Aufbau schwanken

Die Läufe fanden ohne Internet statt. In ersten Läufen mit Web-Zugang hatten sich die Agenten in 71 Prozent der Fälle bei DeepSeek und Qwen einfach den Fix aus dem Original-Repository geholt.

Treffer: kaum Unterschied

Auf den 45 schweren Aufgaben sieht das so aus:

Mal liegt der eine vorn, mal der andere. Wie viel davon Zufall ist, zeigt ein Vergleich: Wechselt man den Harness, ändert sich im Median bei 13 Prozent der Aufgaben das Ergebnis. Lässt man exakt dieselbe Konfiguration ein zweites Mal laufen, ebenfalls bei 13 Prozent. Erst ein anderes Modell bewegt mehr, nämlich 22 Prozent.

Auf dem großen Pool mit 447 Aufgaben lagen Claude Code und mini-SWE-agent weniger als zwei Punkte auseinander, statistisch gleichwertig. Nur OpenCode fiel dort deutlich zurück, um bis zu neun Punkte. Etwa die Hälfte davon erklären die Autoren mit einem Ausgabelimit von 32.000 Token, an dem Läufe abbrachen, ohne dass OpenCode sie fortsetzte. Außerdem hörten die Modelle unter OpenCode früher auf zu arbeiten.

Die Kosten schwanken bis Faktor drei

Der eigentliche Unterschied steckt in der Rechnung. Mit demselben Modell und derselben Preisliste kostete eine Aufgabe je nach Harness bis zu dreimal so viel. Mit GLM-5.3-Flash waren es pro Lauf 1,81 Yuan in Claude Code, 0,97 in mini-SWE-agent und 0,56 in OpenCode.

Den Grund sehen die Autoren vor allem im ersten Aufruf: System-Prompt und Werkzeugbeschreibungen, die bei jedem Schritt wieder mitgeschickt werden.

Bei 50 oder 70 Schritten pro Aufgabe summiert sich das. Prompt-Caching macht den Block billiger, ändert laut Studie aber nichts an der Reihenfolge. Dass OpenCode trotz größerem Prompt am günstigsten war, passt dazu: Die Läufe waren kürzer, im Median 28 Schritte gegenüber 55 in Claude Code und 71 in mini-SWE-agent bei Qwen3.6.

Ein Nebenbefund betrifft das Thinking. Schalteten die Autoren es ab, verlor mini-SWE-agent mit Qwen3.6 elf Punkte, ebenso HY4-Preview in Claude Code. Bei anderen Kombinationen änderte sich kaum etwas. Warum, bleibt offen.

Was die Studie nicht zeigt

Getestet wurde mit offenen Modellen auf einem einzigen Benchmark. Wie sich die Harnesses mit den Modellen schlagen, für die sie gebaut sind, also Claude Code mit Claude oder Codex mit GPT, beantwortet die Studie nicht. Claude Opus 5 lief nur in Claude Code mit und erreichte dort 80 Prozent auf den schweren Aufgaben. Codex CLI war gar nicht dabei. Außerdem ist es ein Preprint, ein Peer Review steht aus.

Die Richtung deckt sich aber mit zwei Studien vom September, der HarnessTax-Studie aus Berkeley und einer Untersuchung von Fan et al. Beide fanden ebenfalls kleine Unterschiede bei der Erfolgsrate und große bei den Kosten. Mehr dazu steht in unserem Artikel zum Harness Engineering.

Was ihr daraus mitnehmen könnt

Wer im Team Coding-Agenten vergleicht, sollte drei Dinge beachten, die die Autoren selbst empfehlen:

1. Jeden Vergleich zweimal laufen lassen. Erst die Streuung zwischen zwei identischen Läufen zeigt, ob ein Unterschied echt ist.
2. Genug Aufgaben nehmen. Mit 45 Aufgaben erkannte die Studie einen Abstand von knapp 13 Punkten nur in etwa der Hälfte der Fälle. Erst bei 447 Aufgaben ließen sich rund 5 Punkte zuverlässig messen. Ein Nachmittag mit zehn Tickets entscheidet also nichts.
3. Kosten pro Aufgabe mitmessen. Wenn die Trefferquote gleich ist, entscheidet die Rechnung. Und die hängt stark davon ab, wie viel Prompt ein Werkzeug bei jedem Schritt mitschleppt.

Wer Claude Code mit einem offenen Modell über ein Gateway betreibt, zahlt den großen System-Prompt bei jedem Schritt mit. Ein Blick in die Token-Abrechnung lohnt sich.