Qwen3.8-27B: läuft auf 17 GB, bleibt aber zäh

Vorgestern haben wir über Qwen3.8 geschrieben, dass es offen ist, aber kaum zu betreiben. 4,89 Terabyte Gewichte, ein Modell fürs Rechenzentrum. Am Ende dieses Artikels stand die Bemerkung, dass der kleine Checkpoint aus derselben Ankündigung fehlt, und dass genau der die interessante Größe wäre.

Seit gestern, 15:00 Uhr UTC, ist er da. Und er ist tatsächlich das Gegenstück: 27 Milliarden Parameter, Apache 2.0, in der 4-Bit-Fassung ein 17-GB-Download.

Wir haben ihn heruntergeladen und auf demselben MacBook gemessen wie Muse Glimmer und Nemotron 3.5 Lightning vergangene Woche. Das Ergebnis vorweg: Das Modell läuft, die Antwortqualität ist gut, und es ist das langsamste der drei.

Was auf der Platte landet

Die offiziellen Gewichte liegen in 18 Dateien und wiegen zusammen 55,6 GB. Interessanter sind die quantisierten Fassungen, die die Community innerhalb eines Tages nachgeliefert hat. Wir haben die Größen über die Blob-API von Hugging Face nachgerechnet:

Dazu kommt eine mmproj-Datei von 0,9 GB, in der der Bildteil steckt.

Die Zeile Q4_K_M ist die praktisch relevante. 17 GB passen auf ein Gerät, das man auch für andere Dinge benutzt. Zum Vergleich die Zahl von vorgestern: Qwen3.8-Max kam selbst in Ein-Bit-Kompression noch auf 397 GB. Zwischen den beiden Modellen desselben Namens liegt der Faktor 23, und erst das kleinere beantwortet die Frage, um die es beim Selbsthosten geht.

Die Lizenz ist diesmal unauffällig, und das ist erwähnenswert

Apache 2.0, direkt im Tag der Modellkarte. Keine Nutzerzahl-Schwelle wie bei der Max-Fassung, keine separate Policy-Datei mit Verbotsliste wie bei Metas Glimmer.

Wir haben trotzdem beide Bezugswege verglichen, weil wir bei Nemotron vergangene Woche zwei verschiedene Lizenzen für dasselbe Modell gefunden haben, je nachdem ob man es von Hugging Face oder über Ollama zieht. Hier stimmt es: Die LICENSE-Datei im Qwen-Repository umfasst 11.544 Zeichen Apache-2.0-Text, was ollama show --license ausgibt, sind 11.346 Zeichen desselben Textes. Die Rechteeinräumung ist in beiden Fassungen ausdrücklich unwiderruflich ("irrevocable"), es gibt keine Guardrail-Klausel und keine Acceptable-Use-Liste.

Der Lizenzcheck ist hier also in einer Minute erledigt. Das ist nach den letzten Wochen keine Selbstverständlichkeit.

Die Werkzeugkette, zum dritten Mal in fünf Tagen

Der erste Download-Versuch brach ab:

Error: pull model manifest: 412:
The model you are attempting to pull requires a newer version of Ollama.

ollama show verrät später, warum: Das Modell verlangt Version 0.32.12, installiert war 0.32.9. Dasselbe Muster wie bei Glimmer am 11. August und bei Nemotron am 12. August.

Diesmal war die Lösung allerdings deutlich einfacher, und das gehört zur Ehrlichkeit dazu. Beim ersten Blick meldete Homebrew 0.32.9 als aktuelle Version, was nach vier Versionen Rückstand aussah. Das war ein veralteter lokaler Paketindex, nicht Homebrew. Nach einem brew update stand dort 0.32.13, also sogar eine Version neuer als nötig, veröffentlicht am Abend des Modell-Release. Ein brew upgrade ollama genügte.

Die Lehre aus dem Bestandsartikel gilt damit weiterhin, aber in entschärfter Form: Wer ein Modell am Erscheinungstag ausprobiert, braucht mit einiger Wahrscheinlichkeit eine frischere Ollama-Version als die installierte. Der Griff zur offiziellen Binary von GitHub, den wir letzte Woche zweimal brauchten, war diesmal nicht nötig. Erst brew update, dann urteilen.

Was das Modell mitbringt

ollama show liefert die Angaben, die im Ankündigungstext untergehen:

  Model
    architecture        qwen35
    parameters          27.3B
    context length      262144
    embedding length    5120
    quantization        Q4_K_M
    requires            0.32.12

  Capabilities
    completion
    vision
    tools
    thinking

  Projector
    architecture        clip
    parameters          460.73M

Zwei Dinge fallen auf. Erstens stimmt die Parameterzahl diesmal ungefähr: beworben 27 Milliarden, ausgeliefert 27,3. Bei Glimmer waren aus beworbenen 30 Milliarden gemessene 27,9 geworden, bei Nemotron 32,9. Zweitens ist der Bildteil mit 460 Millionen Parametern klein, Glimmers CLIP-Encoder war mit 1,9 Milliarden viermal so groß.

Und das Kontextfenster steht bei 262.144 Token, doppelt so viel wie bei Glimmer. Was davon auf diesem Gerät nutzbar ist, ist eine andere Frage, dazu unten mehr.

Der Praxistest auf einem M3 Pro

Gemessen auf demselben MacBook wie letzte Woche: Apple M3 Pro, 36 GB Unified Memory. Bewusst kein Spitzengerät.

Die mittlere Spalte ist die unangenehme. Qwen3.8-27B ist bei der Generierung langsamer als Glimmer, obwohl beide dense Modelle derselben Größenklasse sind und Qwen nur ein GB mehr belegt. Gegenüber Nemotron liegt der Faktor bei sechs.

Der Grund ist bei Glimmer und Qwen derselbe: Für jedes einzelne Token muss das komplette Modell einmal durch den Speicherbus. Der M3 Pro hat rund 150 GB/s Bandbreite, bei 17 GB Modellgröße liegt das theoretische Maximum bei etwa 8,8 Token pro Sekunde. Die gemessenen 5,6 bleiben darunter, was zur hybriden Architektur passt: Qwen mischt Gated-DeltaNet-Schichten mit klassischer Attention im Verhältnis drei zu eins, und die Ollama-Unterstützung dafür ist wenige Tage alt.

Nemotron entkommt dieser Rechnung nur, weil es ein Mixture-of-Experts-Modell ist und pro Token bloß rund 3 Milliarden Parameter aktiviert. Wer lokal Tempo braucht, kommt an dieser Bauweise weiterhin nicht vorbei.

Die Zahlen anderer Hersteller passen ins Bild. AMD nennt für dasselbe Modell auf einem Ryzen AI Max+ 395 bis zu 24,5 Token pro Sekunde und auf einer Radeon AI PRO R9700 bis zu 51,8. Auf einer RTX 5090 kursieren 100 bis 110. Der M3 Pro ist hier das untere Ende, und genau deshalb messen wir darauf.

Das Kontextfenster ist auf diesem Gerät weitgehend Theorie

Die beworbenen 262.144 Token lassen sich konfigurieren. Was dabei passiert, haben wir schrittweise mitgeschrieben:

Bei der vollen nativen Länge liegt fast die Hälfte des Modells auf der CPU. Ein schlichtes "Hi" brauchte in dieser Konfiguration 131,6 Sekunden. Das ist kein Fehler, es ist die Rechnung: Der Schlüssel-Wert-Cache wächst mit dem Kontext, und irgendwann ist der Speicher voll.

Praktisch heißt das: Bis 65.536 Token ist das Modell auf 36 GB uneingeschränkt benutzbar. Darüber wird es zäh, ab 131.072 spürbar. Die Zahl aus der Modellkarte gehört zum Modell, nicht zu diesem Gerät.

Die Reasoning-Falle, milder als bei den anderen

Auch Qwen denkt per Voreinstellung, bevor es antwortet, und auch hier denkt es auf Englisch, während Frage und Antwort deutsch sind. Auf "Sag Hallo." kamen 193 Zeichen Gedanken für 61 Zeichen Antwort.

Das ist deutlich weniger geschwätzig als bei den Vorgängern im Test: Glimmer produzierte für dieselbe Aufgabe 462 Zeichen Gedanken, Nemotron 612. Anders als dort blieb das Antwortfeld in keinem unserer Läufe leer.

Der Zeiteffekt bleibt trotzdem erheblich:

Faktor vier bei praktisch gleicher Antwort. Bei der komplexeren Aufgabe, drei Sätze zum Datenschutz, lag das Verhältnis bei 84 zu 25 Sekunden, ebenfalls ohne erkennbaren Qualitätsunterschied. Die Empfehlung aus dem letzten Test gilt unverändert: In einer Pipeline ist think: false die richtige Voreinstellung, eingeschaltet wird der Denkschritt für Aufgaben, bei denen er nachweislich etwas bringt.

Das Emoji taucht übrigens nur mit Denkschritt auf, genau wie bei Nemotron. Wer die Ausgabe weiterverarbeitet, sollte damit rechnen.

Die Qualität stimmt, und das Sehen funktioniert

Bei den inhaltlichen Prüfungen hat sich das Modell keine Blöße gegeben.

Die Sicherheitsanalyse über 13.757 Token Beispielcode mit einer eingebauten Schwachstelle saß: Qwen benannte die betroffene Funktion, ordnete sie korrekt als Path Traversal ein und zeigte auf die konkrete Zeile, in der der ungeprüfte Parameter in den Pfad wandert. Inhaltlich alles richtig, es dauerte nur fünf Minuten.

Beim Code-Test war das Ergebnis solide, aber nicht das eleganteste im Feld:

import os

def find_outside_paths(paths: list, base_dir: str) -> list:
    base_dir = os.path.realpath(base_dir)
    outside = []
    for path in paths:
        real_path = os.path.realpath(path)
        if not real_path.startswith(base_dir + os.sep) and real_path != base_dir:
            outside.append(path)
    return outside

Das ist korrekt. realpath löst Symlinks auf, das + os.sep verhindert den klassischen Fehler, bei dem /srv/app-evil als Treffer innerhalb von /srv/app durchgeht, und der Gleichheitsfall ist behandelt. Nemotron hatte an derselben Stelle abspath benutzt und damit Symlinks übersehen. Glimmers Lösung über Path.relative_to und den ValueError bleibt die idiomatischere, Qwen baut den Vergleich von Hand.

Das Tool Calling saß auf Anhieb, mit deutschen Parameternamen aus einer deutschen Anfrage und ohne Begleittext:

Interessant ist der Bildteil, weil er das Merkmal ist, das dieses Modell von Nemotron unterscheidet. Wir haben ein Balkendiagramm mit vier beschrifteten Werten vorgelegt und nach allen vier Zahlen gefragt. Qwen las alle korrekt ab, nannte die richtige Spitzenumgebung und merkte von sich aus an, dass der höchste Balken rot eingefärbt ist. Das Bild kostete 250 Prompt-Token und 25,6 Sekunden.

Für Teams, die Screenshots, Diagramme oder Dokumentseiten lokal auswerten wollen, ohne sie an einen Cloud-Dienst zu geben, ist das der eigentliche Grund, sich dieses Modell anzusehen.

Was das für die Modellwahl heißt

Der Widerspruch zum Artikel von vorgestern ist keiner, er ist die Pointe. Damals ging es um ein Modell, das offen lizenziert und trotzdem unbetreibbar ist. Jetzt liegt eines vor, das beides einlöst, und der Test zeigt, dass "betreibbar" noch nicht "schnell" heißt.

Die Zahl, die bei offenen Modellen zählt, ist nicht die Parameterzahl im Namen. Es sind zwei andere: wie viele Gigabyte nach der Quantisierung übrig bleiben, und wie viele davon pro Token durch den Speicherbus müssen. Die erste entscheidet, ob das Modell auf euer Gerät passt. Die zweite entscheidet, ob ihr damit arbeiten wollt.

Für Hardware dieser Klasse läuft es damit auf eine Arbeitsteilung hinaus. Wer Bilder, Diagramme oder Dokumentseiten lokal auswerten will, ohne sie aus dem Haus zu geben, greift zu Qwen3.8-27B. Wer einen Agenten über eine Codebasis laufen lassen will, bleibt bei Nemotron 3.5 Lightning: Fünf Minuten pro Durchlauf über 13.000 Token hält niemand durch, und daran ändert die bessere Benchmarktabelle nichts.

Auf einem Gerät mit 24 GB entscheidet ohnehin der Speicher. Qwen passt dort mit 17 GB noch hinein, Nemotron mit 25 GB nicht mehr.

Ein Wort zu den Benchmarks, die gerade zitiert werden. Alibaba stellt das Modell in der eigenen Tabelle unter anderem gegen Opus 4.6 Max und liegt beim SWE-bench Pro mit 61,7 zu 53,4 vorn. Das ist bemerkenswert für 27 Milliarden Parameter, aber Opus 4.6 Max ist zwei Generationen alt. Die Überschrift "schlägt Opus", die daraus gerade überall gebaut wird, verschweigt das. Unabhängig nachgemessen hat die Tabelle bislang niemand.