Lokale KI auf einer 12-GB-Karte

Ein Modell auf dem eigenen Rechner laufen zu lassen ist heute eine Installation und ein Befehl. Die eigentliche Frage ist eine andere: Welches Modell passt in die eigene Karte, und was passiert, wenn es nicht passt? Darum geht es hier, denn daran entscheidet sich, ob die Sache brauchbar ist oder zäh.

Ausgangslage hier: eine Karte mit 12 GB unter Windows. Die Rechnung darunter gilt für jede Größe, nur die Zahlen wandern.

Zuerst: wie viel VRAM hast du wirklich?

Nicht den Windows-Geräte-Manager fragen. Der meldet bei 12 GB gern 4 GB statt 12. Ein alter Anzeigefehler, der bei allem über 4 GB auftritt. Die richtige Antwort gibt die Karte selbst:

nvidia-smi --query-gpu=name,memory.total --format=csv,noheader

Sie antwortet mit dem Namen der Karte und dem Speicher in MiB. Durch 1024 geteilt steht da die Zahl, mit der man weiterrechnet.

Wer sich auf die falsche Zahl verlässt, lädt sich ein zu kleines Modell herunter und wundert sich, dass die Antworten dünn sind.

Die Faustregel

Ein quantisiertes Modell braucht ungefähr so viele Gigabyte VRAM, wie die heruntergeladene Datei groß ist, plus ein bis zwei Gigabyte für den Kontext. Das ist grob, aber es reicht für die Entscheidung.

Bei 12 GB heißt das: Alles bis etwa 9 GB Dateigröße läuft vollständig auf der Karte. Darüber verteilt Ollama die Schichten zwischen Karte und Hauptspeicher. Es läuft dann immer noch, aber es wird spürbar langsam, weil die CPU die ausgelagerten Schichten rechnet.

Genau das ist der Punkt, an dem die meisten aufgeben und sagen, lokale KI sei nichts. Sie haben nur ein Modell erwischt, das nicht in ihre Karte passt.

Installieren

Ollama von der Herstellerseite laden und installieren. Danach in einer PowerShell:

ollama --version

Läuft der Dienst, antwortet er auch auf http://localhost:11434. Das ist die Schnittstelle, über die später eigene Werkzeuge mit dem Modell reden, ohne API-Schlüssel und ohne dass etwas den Rechner verlässt.

Ein Modell holen

ollama pull qwen2.5:7b
ollama run qwen2.5:7b

Der erste Befehl lädt, der zweite öffnet eine Unterhaltung im Terminal. Mit /bye wieder raus.

Was bei mir liegt, und wofür

ollama list

Modell	Größe	Wofür
qwen3:4b	2,5 GB	Der Schnelle. Zusammenfassen, umformulieren, kurze Fragen. Läuft nebenher, auch wenn sonst noch etwas offen ist
qwen2.5:7b	4,7 GB	Der Allrounder. Erste Wahl, wenn nichts dagegen spricht
llama3.1:8b	4,9 GB	Ähnliche Klasse, anderer Charakter. Gut für längere Anweisungen
mistral-nemo	7,1 GB	Der Größte, der noch vollständig auf die Karte passt. Merkbar besser bei Aufgaben mit mehreren Schritten

Vier Modelle sind kein Sammeln, sondern eine Abwägung: Der kleine ist schnell, der große ist gründlich, und dazwischen liegt der Alltag.

Wo die Grenze wirklich verläuft

Ein Modell mit 8 Milliarden Parametern ist kein kleines Modell mit weniger Wissen. Es ist ein Modell, das andere Aufgaben kann. Zusammenfassen, umformulieren, Text aus Stichpunkten, einfache Übersetzung: gut. Mehrschrittige Ableitungen, langer Code am Stück, Rechnen: da bricht es ein.

Das ehrlich zu wissen erspart die Enttäuschung, die sonst zuverlässig kommt, und es ist derselbe Gedanke, aus dem hier bei jedem Prompt steht, was er voraussetzt.

Wenn es langsam ist

ollama ps

Die Spalte PROCESSOR sagt, was gerade rechnet. Steht dort 100% GPU, ist alles gut. Steht dort etwas mit CPU, passt das Modell nicht vollständig in die Karte. Dann ein kleineres nehmen oder eine stärker quantisierte Fassung.