Welcher Coding-Agent passt zu welchem Modell?

Runta hat 22 Agenten-Harnesses mit fünf offenen Modellen verglichen. Bei gleichem Modell kostet die falsche Wahl bis zum Fünffachen.

6 Min. Lesezeit

Welcher Coding-Agent ist der beste? Eine neue Auswertung des Start-ups Runta legt nahe, dass es darauf keine allgemeine Antwort gibt. Die Firma hat 22 Harness-Konfigurationen mit fünf offenen Modellen gegeneinander antreten lassen, insgesamt 27.280 Läufe und 83 Milliarden Tokens. Ihr Ergebnis: Welches Harness am meisten für das Geld liefert, hängt vom Modell ab. Und bei festem Modell kann die falsche Wahl ein Vielfaches kosten.

Harness meint das Programm um das Modell herum, also Werkzeuge wie Codex CLI, OpenCode, Cline oder Pi. Es entscheidet, welche Tools das Modell bekommt, wie der Kontext aufgebaut wird und wann der Agent aufhört.

Was verglichen wurde

Als Testfeld dienten 62 Terminal-Aufgaben mit Zeitlimits von 15 Minuten bis acht Stunden, jede viermal pro Kombination. Gegeneinander liefen GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash, Meta Muse Spark (offene Version) und Kimi-K3, alle beim Inferenz-Anbieter Baseten, und jedes Harness bekam seine Standard-Einstellungen und den maximalen Reasoning-Aufwand, so wie man es im Alltag am ehesten nutzt. Gerechnet wurde mit Listenpreisen. Grundlage sind die gemeldeten Tokens und die Preise von Baseten.

Das wichtigste Ergebnis vorweg: Das Modell bestimmt den Großteil der Kosten, laut Runta 92,8 Prozent der Streuung. Das Harness kommt erst danach, ist bei festem Modell aber alles andere als egal. Das teuerste Harness kostete pro Aufgabe das 1,8- bis 5-Fache des günstigsten, ohne dafür verlässlich mehr Aufgaben zu lösen. Den größten Abstand gab es bei DeepSeek: Cline CLI kostete fünfmal so viel wie OpenCode, bei nur zwei Prozentpunkten mehr Erfolgsquote.

Kein Harness für alle

Zwischen den Modellen wechselt die Rangfolge stark. Codex CLI war mit GLM-5.3 das günstigste Harness pro Aufgabe, mit Kimi-K3 nur auf Platz 16 von 22. Das beste Verhältnis aus Erfolgsquote und Kosten lieferten:

ModellBestes Preis-Leistungs-Harness
GLM-5.3Codex CLI
GLM-5.3 FlashPi
DeepSeek V4.1 FlashZCode
Muse SparkOh My Pi
Kimi-K3Alma

Wirklich stabil ist davon nur der erste Platz. Runta hat die Auswahl der Aufgaben 4.000-mal neu gezogen. Codex CLI mit GLM-5.3 blieb dabei in 99,6 Prozent der Fälle vorn. Die anderen vier Sieger lagen nur in 25 bis 53 Prozent der Ziehungen vorn, dort liegen mehrere Harnesses dicht beieinander.

Wo das Geld hingeht

Zwei Befunde sind auch für Teams interessant, die nicht mit offenen Modellen arbeiten. Erstens entfielen 64,5 Prozent der Kosten auf Läufe, die am Ende nicht bestanden. Das meiste davon waren keine Abbrüche wegen Zeitüberschreitung. Bei den fünf Preis-Leistungs-Siegern endeten rund drei von vier gescheiterten Läufen mit einer selbstbewussten Abschlussmeldung des Agenten, obwohl die Aufgabe nicht gelöst war.

Zweitens treibt die Zahl der Schritte die Kosten, nicht die Länge des Systemprompts oder die Zahl der Tools. Jeder Schritt schickt den gesamten Kontext erneut ans Modell. Ein Lauf verbrauchte im Schnitt 2 bis 4,8 Millionen Input-Tokens, der größte Startprompt machte davon weniger als ein Prozent aus. Das minimalistische mini-SWE-agent hatte den kleinsten Startprompt, brauchte aber 38 Schritte pro gelöster Aufgabe und landete bei den Kosten pro Erfolg auf Platz 17. Ein schlanker Prompt allein spart also wenig, wenn der Agent dafür mehr Runden dreht.

Wie belastbar das ist

Runta verkauft eine Ausführungsumgebung für Agenten, und genau darauf lief die Studie. Das sollte man mitlesen. Der Gründer räumt es auf Hacker News selbst ein und rät, die Ergebnisse entsprechend zu gewichten. Die Kritik in der Diskussion richtet sich vor allem auf die Aufgabenauswahl, die nirgends begründet wird, und auf die kleine Zahl von 62 Aufgaben. Auch Runta selbst nennt die Grenzen: nur offene Modelle, nur ein Anbieter, dessen Cache-Preise die Kostenränge beeinflussen. Geschlossene Modelle wie Claude oder GPT sollen folgen.

Eine unabhängige Auswertung über rund 930.000 öffentliche Benchmark-Läufe kommt zu einem vorsichtigeren Bild. Dort zeigen nur einige OpenAI-Modelle und Claude Haiku 4.5 einen messbaren Vorteil in ihrem eigenen Harness. Die Wechselwirkung zwischen Modell und Harness gibt es, sie ist aber kleiner als die Unterschiede zwischen Benchmarks. Schon im Oktober zeigte eine Studie der Shandong University, dass aufwendigere Harnesses vor allem Tokens kosten, ohne die Trefferquote zu heben.

Passend dazu hat GitHub am selben Tag seine Benchmark-Seite für Copilot um einen Harness-Vergleich erweitert. Er stellt Copilot CLI, Claude Code und Codex CLI mit jeweils demselben Modell gegenüber. Auch das ist ein Herstellervergleich, diesmal mit dem eigenen Produkt im Rennen.

Eigene Aufgaben statt Rangliste

Wer Coding-Agenten auswählt, sollte nicht nur Modelle vergleichen, sondern die Kombination aus Modell und Harness, und zwar mit eigenen Aufgaben. Ein kleiner Testlauf mit zehn bis zwanzig typischen Aufgaben aus dem eigenen Repo sagt mehr als jede Rangliste. Dabei die Kosten pro gelöster Aufgabe messen, nicht pro Lauf. Und wer ohnehin Inferenzkosten senken will, sollte auf die gescheiterten Läufe schauen. Dort stecken fast zwei Drittel des Geldes. Eine Prüfung, bevor der Agent "fertig" meldet, könnte einen Teil davon sparen, schreibt Runta. Getestet hat die Firma das allerdings nicht.

Quellen5