Bonsai 2 27B: multimodales Modell in 5,9 GB

Ein 27-Milliarden-Parameter-Modell mit Bildverständnis, das auf einem normalen Arbeitslaptop läuft: Das verspricht Prism ML mit Bonsai 2 27B, veröffentlicht am 17.09.2026. Die Downloadgröße liegt laut Hugging Face bei 5,9 GB, das Basismodell Qwen3.8 27B braucht in voller Präzision rund 54 GB. Der Trick heißt ternäre Quantisierung. Was das bedeutet und wie belastbar die Herstellerzahlen sind, zeigt auch die Diskussion, die der Release auf Hacker News ausgelöst hat.

Was "ternär" bedeutet

Normale Modelle speichern jedes Gewicht als Fließkommazahl mit 16 Bit. Ternäre Quantisierung reduziert jedes Gewicht auf einen von drei Werten: minus eins, null oder plus eins. Pro Gruppe von 128 Gewichten kommt ein gemeinsamer Skalierungsfaktor in FP16 dazu, der die Werte wieder auf eine sinnvolle Größenordnung bringt. Weil sich viele Gewichte einen Skalierungsfaktor teilen, landet man im Schnitt bei rund 1,75 Bit pro Gewicht statt 16. Laut Prism ML ist das Modell damit mehr als neunmal kleiner als in voller Präzision.

Die Eckdaten

Woher die 98,2 Prozent kommen

Prism ML vergleicht Bonsai 2 27B über eine eigene Suite aus 20 Benchmarks zu Reasoning, Mathematik, Code, Instruction Following, Bildverständnis und agentischer Werkzeugnutzung gegen das volle Qwen3.8 27B. Der Aggregatwert liegt bei 83,9 zu 85,4 Punkten, macht die 98,2 Prozent. Die Modellkarte stellt zum Vergleich andere Quantisierungsstufen daneben: Eine gängige 4-Bit-Variante (Q4_K_XL) kommt bei 17,6 GB auf 98,7 Prozent, eine übliche 2-Bit-Variante (IQ2_XXS) fällt bei 9,4 GB schon auf 84,1 Prozent ab. Bonsai 2 27B wäre damit kleiner als die 2-Bit-Variante und trotzdem fast auf 4-Bit-Niveau, eine ungewöhnlich gute Kombination, wenn die Zahlen halten. Unabhängig nachgemessen hat das bislang niemand, es sind ausschließlich Werte aus Modellkarte und Whitepaper.

Der vorherige Bonsai 27B aus dem Juli 2026 kam laut Prism ML nur auf 95 Prozent Erhalt. Prism ML selbst nennt das aktuelle Release deshalb praktisch verlustfrei.

Ohne eigenen Fork läuft nichts

Wer die GGUF-Dateien einfach in ein bestehendes llama.cpp lädt, bekommt eine Fehlermeldung. Die ternären Formate PTQ1_0 und PQ2_0 brauchen den Fork PrismML-Eng/llama.cpp, für Apple Silicon zusätzlich einen eigenen MLX-Zweig. Für einen ersten Test ist das nur ein zusätzlicher Schritt. Wer das Modell produktiv einsetzen will, hängt damit aber an einem Fork statt an einem Standard-Tool und muss dessen Updates im Blick behalten.

Was der Hacker-News-Thread zeigt

Die Ankündigung sammelte am Erscheinungstag über 400 Punkte und knapp 120 Kommentare, darunter mehrere eigene Kurztests. Simon Willison brauchte für seinen Standardtest, eine SVG-Zeichnung, 18 Minuten und 20 Sekunden. Ein anderer Nutzer ließ denselben Prompt auf einem M1 Pro laufen und kam auf gut 38 Minuten bei 14,2 Token pro Sekunde. Auf einem M2 Air mit 16 GB im Browser waren es rund 7 Token pro Sekunde, auf einem Mac Mini M2 ähnlich. Ein Kommentator berichtete außerdem, dass die WebGPU-Demo sofort in eine Schleife geriet und dabei sichtbar falsch schlussfolgerte, was zum Versprechen "near-lossless" nicht recht passt. Ein weiterer Kommentator hielt die Benchmark-Auswahl für geschönt, weil lange Arbeitsläufe mit vielen Agentenrunden fehlten, gerade dort dürften sich Rundungsfehler aufsummieren. Einen Long-Context-Test (AA-LCR) enthält die Suite allerdings.

Für wen sich das Ausprobieren lohnt

Wer bereits mit Ollama lokale Modelle betreibt oder Hardware-Grenzen für lokale KI kennt, hat mit rund 8 GB Speicherbedarf eine neue Option, die auf Laptops mit 16 GB RAM oder einer Mittelklasse-GPU passt. Wichtig fürs Testen: nicht die Herstellerbenchmarks nachstellen, sondern die eigenen Aufgaben durchspielen, etwa Codeänderungen, Dokumentenzusammenfassungen oder Screenshot-Auswertungen, und dabei besonders auf lange Eingaben und mehrere Gesprächsrunden achten, weil dort die meisten Zweifel liegen. Für alles mit sensiblen Kundendaten bleibt der eigentliche Gewinn bestehen: Ein Modell, das komplett lokal läuft, verlässt das Gerät nie, was für Souveränität durch offene Gewichte grundsätzlich spricht, unabhängig davon, ob die 98,2 Prozent am Ende exakt stimmen.

Einordnung

Apache 2.0 für Modell und Basis, unter 6 GB Download, Bildverständnis auf einem Laptop: Wenn die Zahlen halten, ist das ein deutlicher Schritt gegenüber der ersten Bonsai-Generation und den bisherigen 2-Bit-Quantisierungen. Die Zahlen stammen aber komplett vom Hersteller, und die ersten Tests auf Hacker News zeigen, dass Alltag und Werbeaussage nicht überall zusammenpassen. Für einen unverbindlichen Test auf eigener Hardware ist das Modell einen Blick wert, für produktive Workflows sollte man erst die eigenen Testfälle durchlaufen lassen, bevor man sich auf die 98,2 Prozent verlässt.