Der Modellname sagt nicht, was in die Karte passt

In den Foren für lokale Modelle kommt ein Thema immer wieder: Ein sehr großes Modell sei jetzt zu Hause zu betreiben. Bei diesen Modellen stehen zwei Parameterzahlen nebeneinander, eine große und eine kleine. Wer die kleine für den Speicherbedarf hält, verrechnet sich um ein Vielfaches.

Die Faustregel selbst stimmt weiterhin: Ein quantisiertes Modell braucht ungefähr so viele Gigabyte Speicher, wie die heruntergeladene Datei groß ist, plus etwas für den Kontext. Zerbrochen ist nur die Brücke von der Parameterzahl zur Dateigröße.

Was sich geändert hat

Die neuen Modelle sind fast alle nach dem Prinzip Mixture of Experts gebaut. Statt eines großen Blocks, durch den jedes Wort läuft, gibt es viele kleine Blöcke, und für jedes Wort werden nur ein paar davon ausgewählt.

Die Zahlen dazu stehen offen in der Konfigurationsdatei jedes Modells. Am 06.08.2026 abgerufen:

Modell	Parameter gesamt	davon aktiv	Experten	aktiv je Wort
Qwen3-30B-A3B-Instruct-2507	30,5 Mrd.	3,3 Mrd.	128	8
gpt-oss-20b	21 Mrd.	3,6 Mrd.	32	4
DeepSeek-V4-Flash-0731	304 Mrd.	keine Angabe	256	6

Beim ersten Modell rechnet also rund ein Zehntel des Modells an jedem Wort mit, beim dritten ein Vierzigstel der Experten.

Der Punkt, an dem die Hoffnung kippt

Daraus folgt der Satz, um den es hier geht: Im Speicher liegen müssen alle Experten, auch die, die an diesem Wort nicht rechnen.

Das steht in den Werkzeugen selbst. Wer ein solches Modell startet, findet dort zwei eigene Schalter dafür, die Expertengewichte aus dem Grafikspeicher zu nehmen und in den Arbeitsspeicher zu legen: --cpu-moe behält nach der Hilfebeschreibung alle Expertengewichte im Arbeitsspeicher, --n-cpu-moe N die der ersten N Schichten. Es gibt diese Schalter, weil die Gewichte sonst alle in den Grafikspeicher gehören.

Genauso rechnen die Anbieter der fertigen Pakete. Eine Übersicht zu einem Modell dieser Bauart nennt 23 GB in der Vier-Bit-Stufe und 70 GB bei voller Genauigkeit, und zwar ausdrücklich als Summe aus Arbeitsspeicher und Grafikspeicher.

Mixture of Experts spart also Rechenzeit, nicht Speicher. Wer „3,3 Milliarden aktiv“ liest und daraus einen Speicherbedarf ableitet, hat die falsche der beiden Zahlen genommen.

Was tatsächlich heruntergeladen wird

Dieselben drei Modelle, diesmal die Dateigrößen der fertigen Pakete, ebenfalls am 06.08.2026 abgerufen. Angegeben ist jeweils die kleinste vollständige Fassung und eine brauchbare:

Modell	kleinste Fassung	brauchbare Fassung
Qwen3-30B-A3B	8,4 GB	11,0 GB
gpt-oss-20b	10,7 GB	11,3 GB
DeepSeek-V4-Flash-0731	76,9 GB	144,4 GB

Die Originalgewichte des dritten Modells wiegen 155,4 GB, verteilt auf 48 Dateien. Es „läuft lokal“ in dem Sinn, dass niemand es verbietet. Auf eine einzelne Karte im Heimgebrauch passt es nicht, und auch die kleinste Fassung mit 76,9 GB verlangt einen Rechner, den man dafür gebaut hat.

Die beiden anderen sind der eigentliche Fund: 30,5 Milliarden Parameter für 11,0 GB, 21 Milliarden für 11,3. Das ist es, was Mixture of Experts für kleine Karten wirklich bringt, und es steht selten in der Überschrift.

Zwei Minuten prüfen statt zwei Stunden laden

Bevor etwas heruntergeladen wird, beantworten zwei Blicke die Frage.

Erstens die Konfigurationsdatei des Modells. Sie liegt offen neben den Gewichten und ist eine kurze Textdatei. Drei Werte reichen:

• num_experts oder n_routed_experts: wie viele Blöcke es gibt
• num_experts_per_tok: wie viele davon je Wort rechnen
• max_position_embeddings: wie lang der Kontext maximal ist

Stehen dort Expertenzahlen, ist es ein Mixture-of-Experts-Modell, und der Name sagt nichts über den Speicherbedarf.

Zweitens die Dateiliste der Fassung, die man nehmen will. Nicht die Modellseite, sondern die Liste der Dateien mit ihren Größen. Zwei Fallen stecken darin, und ich bin in beide gelaufen:

• Große Fassungen sind zerlegt. Eine Datei mit 00002-of-00003 im Namen ist ein Teil von dreien. Bei der kleinsten Fassung oben stehen 45,7 GB und 31,1 GB in zwei getrennten Dateien, dazu eine dritte, sehr kleine. Die 45,7 allein sehen fast erreichbar aus.
• Neben dem Modell liegen Zusatzmodule. In demselben Verzeichnis fand ich eine Datei mit 10,1 GB, die nach einer sehr kleinen Fassung des Modells aussah. Sie gehört zu einem Beschleunigungsmodul und ist ohne das eigentliche Modell nutzlos.

Eine Zahl, die überall steht und nirgends geprüft werden kann

Diese Woche geht die Angabe durch die Foren, ein kommendes 27-Milliarden-Modell laufe mit 17 GB. Die Zahl stammt aus einer Ankündigung auf einer sozialen Plattform. Am 06.08.2026 antwortete die zugehörige Modellseite bei Hugging Face mit einem Zugriffsfehler, und unter den zuletzt veröffentlichten Modellen dieses Anbieters war sie nicht zu finden. Es gibt also nichts, woran sich die 17 prüfen ließen.

Das ist keine Anschuldigung, Ankündigungen laufen der Veröffentlichung regelmäßig voraus. Es ist ein Maßstab: Eine Speicherangabe ist so lange eine Behauptung, bis die Dateiliste sie bestätigt.

Für eine 12-GB-Karte heißt das

Die brauchbaren Fassungen der beiden kleinen Modelle liegen bei 11,0 und 11,3 GB. Das passt, lässt aber kaum Luft für den Kontext, und der wächst mit jedem Wort der Unterhaltung. Wer Spielraum will, nimmt die nächstkleinere Stufe oder begrenzt die Kontextlänge beim Start.

Und die Zahl, die man sich merkt, steht nicht im Namen des Modells, sondern in seiner Dateiliste. Sie ist die einzige, die nicht wirbt.