Lokale KI-Modelle: Lizenz und Leistung im Test

"Läuft auf einer einzelnen Consumer-GPU." Diesen Satz haben in den letzten zwei Wochen drei Hersteller geschrieben, und er stimmt jedes Mal ein bisschen anders. Meta hat am 10. August Muse Glimmer veröffentlicht, ein Modell mit angeblich 30 Milliarden Parametern unter Apache 2.0. Davor kamen Mistrals Shieldstral und Liquid AIs LFM2.5. Alle drei zielen auf dieselbe Frage, die in DACH-Teams gerade oft gestellt wird: Was können wir eigentlich selbst betreiben, ohne dass Daten das Haus verlassen?

Die ehrliche Antwort hängt an zwei Dingen, über die Pressemitteilungen ungern sprechen. Erstens: Was heißt "läuft" auf der Hardware, die tatsächlich unter dem Schreibtisch steht? Zweitens: Was steht in der Lizenz, und zwar in der Datei, nicht im Blogpost?

Wir haben Glimmer deshalb heruntergeladen, auf einem gewöhnlichen Arbeitsgerät gemessen und die Lizenztexte aller drei Modelle gelesen. Das Ergebnis vorweg: Die Qualität hat uns überzeugt, die Geschwindigkeit nicht, und bei den Lizenzen steht die wichtigste Klausel in einer Datei, die niemand aufmacht.

Wenn ihr noch gar nichts lokal betreibt, fangt ihr besser bei Ollama an, dort steht das Setup. Hier geht es um die Modelle, die seit Anfang August dazugekommen sind.

Die drei Kandidaten im Überblick

Beim Speicher lohnt der Blick auf die Klammern: Nur der Wert für Glimmer stammt aus unserem eigenen Lauf. Der Wert für Shieldstral ist aus der Parameterzahl gerechnet und von uns nicht nachgemessen. Die 2,5 GB für LFM2.5 nennt Liquid AI selbst, allerdings ohne eine Quantisierungsstufe dazuzusagen, gemessen bei CPU-Inferenz auf einem M5 Max und einem Ryzen AI Max+ 395. Direkt vergleichbar sind die drei Zahlen also nicht.

Ein Detail zur Größenangabe, das beim Vergleichen hilft. Metas Blogpost spricht durchgehend vom 30-Milliarden-Modell. Die Modellkarte auf Hugging Face nennt dann schon 29,6 Milliarden, und die tatsächlich ausgelieferten Gewichte melden 27,9 Milliarden Parameter für das Sprachmodell plus 1,9 Milliarden für den CLIP-Encoder, der die Bilder verarbeitet. Keine dieser Zahlen ist falsch, sie zählen nur Verschiedenes. Wer Modelle nach Parameterzahl vergleicht, sollte wissen, dass das reine Sprachmodell hier kleiner ist als der Name verspricht.

Der Lizenzcheck, und warum er zuerst kommt

Ein Modell, das ihr nicht einsetzen dürft, braucht ihr auch nicht zu benchmarken. Deshalb steht die Lizenz hier vor der Technik, und deshalb reicht die Modellkarte dafür nicht. Warum "offen" bei Modellen so unterschiedlich viel bedeuten kann, haben wir in Offene Gewichte: Souveränität auf dem Papier auf der politischen Ebene beschrieben. Hier folgt die Version zum Nachmachen, mit drei konkreten Lizenzdateien.

Bei Shieldstral ist die Sache in einer Minute erledigt: Apache 2.0, die Lizenzdatei enthält den unveränderten Text, fertig. Deutsch ist unter den zwölf Sprachen. Wer eine Ein- und Ausgabeprüfung für ein eigenes KI-Feature braucht, bekommt hier eine, die die Daten nicht an einen US-Dienst schickt und selbst in voller Genauigkeit auf eine 16-GB-GPU passt, quantisiert auf 4 Bit sogar auf deutlich weniger.

Bei LFM2.5 muss man dagegen den Volltext öffnen. Die Modellkarte sagt nur license: other mit dem Namen lfm1.0. In Abschnitt 5 der LFM Open License steht dann die Klausel, die für den DACH-Mittelstand entscheidet:

Any Commercial Use of the Work or a Derivative Work by a Legal Entity that exceeds the Threshold is not licensed under this Agreement.

Die Schwelle definiert die Lizenz an anderer Stelle als 10 Millionen US-Dollar Jahresumsatz. Bemerkenswert ist die Formulierung: Oberhalb der Schwelle ist die kommerzielle Nutzung schlicht nicht lizenziert. Es gibt keinen automatischen Anschlusstarif, den man bucht. Wer darüber liegt, muss mit Liquid AI verhandeln, bevor irgendetwas produktiv geht. Viele Mittelständler in Deutschland liegen über dieser Schwelle, ohne sich groß zu fühlen.

Der Ankündigungstext desselben Unternehmens bewirbt die Modelle übrigens wörtlich als "Open-weight, Download, fine-tune, and deploy without restrictions". Wer nur den Blogpost liest, bekommt also exakt das Gegenteil dessen erzählt, was zwei Klicks weiter in der Lizenzdatei steht. Besser lässt sich nicht zeigen, warum die Datei zählt und nicht die Überschrift.

Glimmer haben wir am gründlichsten geprüft, weil Metas Lizenzgeschichte bei Llama keine gute war. Diesmal stimmt es: Die Lizenzdatei im Repository ist unveränderter Apache-2.0-Text, keine Community-Lizenz mit Nutzerzahl-Klausel. Das ist ein echter Schritt. Daneben liegt allerdings eine USAGE_POLICY.md mit einer langen Liste verbotener Verwendungen: Militär und ITAR, Betrieb kritischer Infrastruktur, das Verarbeiten sensibler personenbezogener Daten ohne Rechtsgrundlage und die Klausel, dass man nicht behaupten darf, Ausgaben seien von Menschen erstellt.

Wie sich eine solche Policy zu einer Apache-2.0-Lizenz verhält, die selbst keinerlei Nutzungsbeschränkungen kennt, ist juristisch nicht geklärt.

Praktisch heißt das für Teams: Für normale Produktentwicklung ist Glimmer deutlich freier als alles, was Meta bisher unter dem Llama-Namen herausgegeben hat. Wer aber in einer der genannten Branchen arbeitet, sollte die Policy der Rechtsabteilung zeigen, bevor das Modell in ein Produkt wandert.

Wer den Lizenzcheck für alle drei in einer Minute machen will, geht in dieser Reihenfolge vor: Liegt euer Jahresumsatz über 10 Millionen Dollar, fällt LFM2.5 aus, ohne Verhandlung mit Liquid AI. Verarbeitet euer Anwendungsfall sensible personenbezogene Daten, etwa im Personalwesen oder im Gesundheitsbereich, oder arbeitet ihr in Rüstung oder kritischer Infrastruktur, braucht Glimmer vorher eine Rechtsprüfung wegen der Usage Policy. Shieldstral überlebt beide Fragen unbeschadet.

Der Praxistest: Glimmer auf einem M3 Pro

Ab hier wird es technisch. Die Kurzfassung für alle, die den Rest überspringen wollen: Das Modell läuft auf einem gewöhnlichen Arbeits-MacBook und die Antwortqualität ist gut, aber für Agentenarbeit ist es zu langsam, weil die Prompt-Verarbeitung bei 73 Token pro Sekunde deckelt. Schuld daran ist die Speicherbandbreite.

Getestet haben wir auf einem MacBook mit Apple M3 Pro und 36 GB Unified Memory. Das ist bewusst kein Spitzengerät: Metas Referenzhardware sind MacBook M4 Max und M5 Max sowie eine RTX 5090, also das obere Ende dessen, was man noch "Consumer" nennt. Die interessante Frage ist ja gerade, was eine Klasse darunter passiert.

Erste Hürde: die Werkzeugkette

Glimmer braucht Ollama in Version 0.32.8. Diese Version erschien am 10. August, am selben Tag wie das Modell. Homebrew lieferte am Tag darauf noch 0.32.7, und damit bricht der Download kommentarlos ab:

Error: pull model manifest: 412:
The model you are attempting to pull requires a newer version of Ollama.

Erst mit der offiziellen Binary von GitHub lief es. Das ist kein Drama, aber es relativiert das Versprechen der Tag-eins-Unterstützung: Am Tag eins hängt sie an einem Release, das die Paketmanager noch nicht kennen.

Was gemessen wurde

Das Modell ist in der Variante q4_K_M ein 18-GB-Download und belegt im Betrieb 16 GB. ollama show verrät dabei mehr über das Modell als Metas Blogpost, unter anderem die Parameterzahl und die Kontextlänge, die im Blogpost gar nicht steht:

  Model
    architecture        muse-glimmer
    parameters          27.9B
    context length      131072
    embedding length    6656
    quantization        Q4_K_M
    requires            0.32.8

  Capabilities
    completion
    vision
    tools
    thinking

Im laufenden Betrieb dann die erfreulichste Zahl des Tests: Das Modell liegt vollständig auf der GPU, nichts wird auf die CPU ausgelagert. Die Ausgabe ist hier um die Spalten ID und Ablaufzeit gekürzt:

NAME                       SIZE     PROCESSOR    CONTEXT
muse-glimmer:30b-q4_K_M    16 GB    100% GPU     32768

Das bleibt auch so, wenn man das volle Kontextfenster von 131.072 Token anfordert. Wie in der Ausgabe zu sehen, setzt Ollama den Kontext standardmäßig auf 32.768, wer mehr will, muss es explizit konfigurieren.

Diese Zahlen sind kein Konfigurationsfehler, sondern Physik. Der M3 Pro hat rund 150 GB/s Speicherbandbreite, das Modell belegt 16 GB. Damit liegt das theoretische Maximum bei etwa 9 Token pro Sekunde. Die gemessenen 7,5 sind also nah am Anschlag. Auf einem M4 Max mit deutlich mehr Bandbreite sieht das anders aus, und genau deshalb steht dieses Gerät in Metas Referenzliste.

Für die Praxis heißt das: Ein Chat mit kurzen Fragen ist zäh, aber machbar. Ein Coding-Agent, der eine Codebasis liest, ist es nicht. Bei 73 Token pro Sekunde Prompt-Verarbeitung kostet ein Kontext von 13.000 Token allein drei Minuten, bevor das erste Antwortzeichen fällt. Ein Agentenlauf mit mehreren Runden über einem größeren Repository wird auf dieser Hardware-Klasse zur Geduldsprobe.

Die Reasoning-Falle

Glimmer denkt, bevor es antwortet, und zwar per Voreinstellung. Der Denkschritt landet in einem eigenen Feld und ist erstaunlich ausführlich. Auf die Aufforderung "Sag Hallo." produzierte das Modell 462 Zeichen Gedanken für 31 Zeichen Antwort. Bei einer Fachfrage lag das Verhältnis bei etwa sieben zu eins.

Zwei Beobachtungen dazu. Erstens denkt das Modell auf Englisch, auch wenn Frage und Antwort deutsch sind. Zweitens wirkt der Denkprozess redundant, er wiederholt die Aufgabenstellung mehrfach und tastet sich in Halbsätzen voran.

Das hat eine praktische Konsequenz, in die wir beim ersten Testlauf prompt hineingelaufen sind: Mit einem knappen Token-Budget kommt gar keine Antwort. Das Budget geht vollständig ins Denken, die Anfrage endet mit done_reason: length, und das Antwortfeld bleibt leer. Wer Glimmer in eine Pipeline einbaut, muss das Budget großzügig setzen oder das Denken abschalten. Letzteres halbierte in unserem Test die Laufzeit von 110 auf 49 Sekunden bei gleicher Aufgabe und praktisch gleicher Antwortqualität.

Die Qualität stimmt

Das ist die gute Nachricht, und sie war in allen vier Tests konsistent. Das Deutsch ist idiomatisch, mit korrekten Umlauten und richtig eingesetzten Fachbegriffen. Auf die Bitte um genau drei Sätze zum Thema lokale KI und Datenschutz kamen genau drei Sätze, inhaltlich sauber.

Beim Code ebenso. Gefragt war eine Funktion, die Pfade außerhalb eines erlaubten Basisverzeichnisses erkennt. Glimmer lieferte den kanonischen Ansatz, ohne Umwege:

from pathlib import Path

def paths_outside_base(paths, base_dir):
    base = Path(base_dir).resolve()
    outside = []
    for p in paths:
        try:
            Path(p).resolve().relative_to(base)
        except ValueError:
            outside.append(p)
    return outside

Das ist genau richtig: erst auflösen, dann relative_to als Prüfung nutzen und den ValueError als Signal für "liegt außerhalb" behandeln. Kein Stringvergleich, keine selbstgebaute Normalisierung.

Auch das Tool Calling saß auf Anhieb, und zwar mit deutschen Parameternamen aus einer deutschen Anfrage heraus:

Kein erklärender Text daneben, keine erfundenen Parameter, kein zweiter Anlauf. Für ein Modell, das genau dafür gebaut wurde, ist das die Mindesterwartung, aber sie wird nicht von allen erfüllt.

Zuletzt der Test, der am meisten über die Eignung als Coding-Assistent sagt: 13.000 Token Beispielcode mit einer eingebauten Schwachstelle, dazu die Frage nach dem Sicherheitsproblem. Glimmer erkannte den Path Traversal und benannte ihn präzise, mit Verweis auf die konkrete unverifizierte Variable. Inhaltlich also alles richtig, es dauerte nur gut drei Minuten.

Was Teams daraus mitnehmen

Die Lizenz gehört vor die Technik. Bei zwei von drei Modellen entscheidet sie über den Einsatz, unabhängig davon, wie gut sie sind. Und sie steht nicht auf der Modellkarte: Bei LFM2.5 muss man bis Abschnitt 5 des Lizenztexts lesen, bei Glimmer in eine separate Datei daneben schauen.

Der zweite Punkt hat uns selbst überrascht. Die verbreitete Faustregel "genug RAM, dann läuft es" führt in die Irre. Glimmer passte bequem in 36 GB und lief vollständig auf der GPU, und trotzdem ist es für Agentenarbeit auf diesem Gerät zu langsam. Der Deckel ist die Speicherbandbreite, nicht die Kapazität. Wer eine Maschine für lokale Modelle anschafft, sollte deshalb auf GB pro Sekunde schauen und nicht nur auf GB. Für die Hardware-Seite drumherum, von NPUs bis zur Compliance-Frage, haben wir das in Lokale KI: Deine Daten bleiben bei dir ausgeführt.

Was heißt das nun konkret? Eine Ein- und Ausgabeprüfung für ein eigenes KI-Feature ist mit Shieldstral heute lösbar. Klein, schnell und ohne Lizenzrisiko. Für einen Agenten auf schwacher Hardware ist LFM2.5 der Kandidat, sofern die Umsatzschwelle passt. Und ein lokaler Coding-Agent mit Glimmer braucht eine Maschine oberhalb dessen, was in den meisten Teams auf den Schreibtischen steht.

Bleibt der Hinweis, den wir uns bei jedem dieser Releases selbst geben: Alle Leistungsaussagen stammen bisher von den Herstellern. Metas Hauptbenchmarks laufen gegen ähnlich große Modelle wie Gemma4-31B und Qwen3.6-27B, gegen die großen geschlossenen Cloud-Modelle vergleicht Meta gar nicht erst. Ein Nachmittag mit dem heruntergeladenen Modell sagt mehr als jedes Datenblatt, und er kostet außer Bandbreite nichts.