Welcher LLM für 32 GB VRAM? ?

#32 GB VRAM: Was die höhere Kapazität gegenüber 24 GB verändert

Ein Modell in Q4 benötigt etwa 0,6 GB pro Milliarde Parameter, zuzüglich des Kontext-Caches, der mit der Länge des Gesprächs wächst. In 24 GB passt ein dichtes Modell mit 27 bis 32 Milliarden Parametern in Q4 (16 bis 20 GB), aber der Kontext muss kurz bleiben. Bei 32 GB bleiben 12 bis 16 GB für den Kontext, die Aktivierungen und das System: Dieses Speicherbudget ermöglicht Kontextfenster von 32.000 bis 128.000 Tokens bei einem 27B-Modell oder ein MoE-Modell mit 30 bis 35 Milliarden Parametern mit komfortablem Spielraum.

Diese Werte sind Dateigrößen, nicht der gesamte Speicherbedarf: Der Rechner dieser Website rechnet den Cache für das jeweilige Modell und den jeweiligen Kontext hinzu. Der Cache kann auch mit q8_0 quantisiert werden. Laut der FAQ von Ollama halbiert das seine Größe gegenüber f16 ungefähr, sofern Flash Attention aktiviert ist.

• Speicherechner für ein Modell und dessen Kontext
• KV-Cache quantisieren, um Speicher zu sparen

#Welche Karten bieten 32 GB an und warum ist die Bandbreite von Bedeutung?

Zwei Desktop-Karten stechen hervor. Die GeForce RTX 5090 verfügt über 32 GB GDDR7 mit einem 512-Bit-Bus und laut NVIDIA einer Bandbreite von 1.792 GB/s. Die Radeon AI PRO R9700 von AMD bietet ebenfalls 32 GB, allerdings GDDR6 mit einem 256-Bit-Bus und laut AMD einer Bandbreite von 640 GB/s, für den professionellen Einsatz in einem Desktop-Computer. Die Kapazität ist identisch; die Generierungsgeschwindigkeit ist es nicht.

Die theoretische Obergrenze wird berechnet, indem die Bandbreite durch die bei jedem Token gelesene Menge an Modellgewichten geteilt wird; sie wird nie vollständig erreicht, doch das Verhältnis bleibt gültig: Bei gleichem Modell generiert die RTX 5090 mehr als doppelt so schnell wie die R9700. Bei einer AMD-Karte spielen auch der Treiber und der Softwarestack (ROCm, Vulkan) eine Rolle; der Leitfaden zu AMD-Karten erläutert die Grenzen. Die einzelnen Karten haben eigene Seiten: Die Seite zur RTX 5090 enthält die Details zur Karte.

Zwei weitere Wege führen zu 32 GB. Mit llama.cpp lässt sich ein Modell auf zwei Karten mit jeweils 16 GB aufteilen, aber die PCIe-Verbindung verlangsamt den Datenaustausch, und das Modell muss sich sauber aufteilen lassen; der Multi-GPU-Leitfaden zeigt die Methode. Ein Mac mit 32 GB oder mehr gemeinsamem Speicher (Unified Memory) ist eine dritte Option, mit geringerer Bandbreite, aber ohne die Beschränkung durch einen dedizierten VRAM.

Die Preise ändern sich schnell: Die Preisbeobachtung der Website erfasst jeden Montag und jeden Donnerstag den niedrigsten Preis für Grafikkarten für lokale KI sowie den Preis pro GB VRAM.

• Preisverfolgung für Grafikkarten im Bereich der lokalen KI
• LLM auf RTX 5090
• Multi-GPU-Setup mit llama.cpp

#Empfohlene Modelle für 32 GB

Dichte Modelle mit 27B bis 32B Parametern

Die Qualitätsauswahl: Qwen 3.5 27B oder 3.8 27B (16 GB bei Q4), Gemma 4 31B (18 GB), Qwen 3 32B (19 bis 20 GB). Sie ermöglichen einen langen Kontext und eignen sich gut für feinere Quantisierungen (Q5, Q6), wenn Sie eine höhere Qualität wünschen.

MoE 30-35B

Qwen3-Coder 30B-A3B (19 GB) und Qwen 3.6 35B-A3B (21 GB) aktivieren pro Token nur etwa 3 Milliarden Parameter: Sie bieten die höchste Geschwindigkeit für ihre Größe und sind die richtige Wahl für Code und Agenten.

gpt-oss-20b

14 GB in der Ollama-Bibliothek; laut Ollama-Seite kann das Modell auf Systemen mit mindestens 16 GB Speicher laufen. Bei 32 GB bleibt Platz für einen enormen Kontext, und ein zweites Modell kann gleichzeitig geladen bleiben.

24B-Code-Modell

Devstral Small 2 24B (14 GB): ein Spezialist für Code-Agenten, der Platz für zwei gleichzeitig im Speicher gehaltene Modelle lässt.

Stellen Sie sich zur Auswahl drei Fragen. Muss das Modell mit einem langen Kontext umgehen können (Dokumente, Code-Repository)? Wählen Sie ein dichtes 27B-Modell in Q4, das 16 GB für den Cache übrig lässt. Brauchen Sie Geschwindigkeit (Agenten, Toolschleifen)? Dann ein MoE-Modell. Möchten Sie einfach eine höhere Qualität als mit 24 GB? Wechseln Sie bei einem 27B- bis 32B-Modell von Q4 zu Q6: Der Platz ist vorhanden.

• Erklärung der MoE-Modelle
• Quantisierung wählen

#Prüfen, ob das Modell tatsächlich auf die Karte passt

Ein Modell, das „geladen wird“, befindet sich nicht unbedingt vollständig auf der GPU. Wenn der VRAM nicht ausreicht, verteilt Ollama die Schichten unbemerkt zwischen der Grafikkarte und dem Arbeitsspeicher, und die Geschwindigkeit sinkt ohne Fehlermeldung. Laut der offiziellen FAQ zeigt der Befehl ollama ps in der Spalte Processor an, wo das Modell geladen wurde: 100 % GPU bedeutet, dass es sich vollständig auf der GPU befindet; eine Verteilung wie 30 %/70 % CPU/GPU zeigt eine teilweise Auslagerung in den Arbeitsspeicher an.

1. 01
   Modell mit dem beabsichtigten Kontext laden

   Starten Sie das Modell mit der Kontextgröße, die Sie tatsächlich für Ihren Einsatz benötigen, nicht mit dem Standardwert: Der Kontextcache führt dazu, dass der verfügbare Speicher nicht mehr ausreicht.
2. 02
   Die Spalte Processor lesen

   Führen Sie ollama ps in einem anderen Terminal aus. Streben Sie 100 % GPU an; jeder CPU-Anteil verringert die Geschwindigkeit.
3. 03
   Bei Bedarf reduzieren

   Wenn das Modell nicht in den verfügbaren VRAM passt, reduzieren Sie den Kontext, aktivieren Sie die Cache-Quantisierung in q8_0 mit Flash Attention oder wechseln Sie zu einer speichersparenderen Quantisierung.
4. 04
   Den verbleibenden VRAM prüfen

   Unter Windows oder Linux zeigt nvidia-smi den verwendeten Speicher an; halten Sie ein bis zwei GB als Reserve für die Bildschirmausgabe und Spitzen im Speicherbedarf frei.
5. 05
   Anhand Ihrer tatsächlichen Nutzung messen

   Vergleichen Sie die Geschwindigkeit mit einem kurzen Prompt und mit Ihrem echten Prompt: Der zweite Wert ist entscheidend.

• Ollama auf AMD-Karten mit ROCm
• GPU-Fehler in Ollama beheben

#70B und 123B: Warum Offloading diese Modelle nicht nutzbar macht

Llama 3.3 70B ist in der Ollama-Bibliothek 43 GB groß, Mistral Large 123B 73 GB. Bei 32 GB VRAM müssen daher mindestens 11 GB für das 70B-Modell und 41 GB für das 123B-Modell im Arbeitsspeicher verbleiben. Bei jedem Token liest die CPU diese Schichten mit der Geschwindigkeit des Systemspeichers: maximal etwa 102 GB/s bei DDR5-6400 im Zweikanalbetrieb (6.400 MT/s × 8 Bytes × 2). Geteilt durch 41 GB ergibt sich für das 123B-Modell eine Obergrenze von etwa 2,5 Tokens pro Sekunde; für das 70B-Modell mit 11 GB im RAM sind es etwa 9 Tokens pro Sekunde. Das sind Obergrenzen, keine Messwerte: Sie zeigen vor allem, dass der Durchsatz nicht kontinuierlich, sondern stufenweise abnimmt, sobald die Schichten die Grafikkarte verlassen.

Diese Berechnung setzt voraus, dass die Karte 32 GB Modellgewichte im VRAM hält; in der Praxis benötigt auch der Kontextcache Platz, sodass mehr Modellgewichte in den RAM ausgelagert werden und die Obergrenze sinkt. MoE-Modelle verhalten sich besser: llama.cpp bietet für Konfigurationen, die das Modell nicht vollständig auf die GPU laden können, eine Option, um die Experten bestimmter Schichten auf der CPU zu belassen (--n-cpu-moe). Damit lässt sich ein Modell betreiben, das nicht vollständig in den GPU-Speicher passt, aber ein Nutzer des llama.cpp-Repositorys berichtet von einem Geschwindigkeitsverlust von etwa 80 %, wenn alle Experten auf der CPU liegen: Das ist eine Lösung für den äußersten Notfall.

llama-server -m modele-moe.gguf -ngl 99 -fa --n-cpu-moe 12 -c 16384

Der Wert von --n-cpu-moe hängt von Ihrem Speicher ab; Sie müssen ihn durch Ausprobieren ermitteln. Für ein dichtes 70B-Modell ist bei 32 GB fast immer ein kleineres Modell oder mehr Speicher die richtige Lösung, nicht Offloading.

#Ein Modell mit 32 GB feinabstimmen: Was funktioniert und was nicht

Beim Fine-Tuning mit QLoRA bleiben die Modellgewichte in 4 Bit, und nur kleine Adapter werden trainiert. Allein die Gewichte eines 70B-Modells belegen bereits 40 GB, daher passt QLoRA-Training eines 70B-Modells nicht in 32 GB. Ein 32B-Modell in 4 Bit belegt etwa 19 bis 20 GB: Es bleiben 12 GB für die Aktivierungen, den Optimierer und die Adapter. Das ist mit einem kurzen Kontext und einer Batchgröße von 1 machbar, allerdings ohne Sicherheitsreserve. Ein Modell mit 7 bis 14 Milliarden Parametern lässt sich komfortabel trainieren. Das sind Größenordnungen, die Sie in dem von Ihnen verwendeten Tool bestätigen müssen.

#32 GB VRAM oder eine andere Lösung: Die Entscheidungstabelle

• Welches LLM für 24 GB VRAM
• Mac Studio für 64 bis 512 GB
• Quelle: NVIDIA, Ankündigung der RTX 50
• Quelle: AMD, Radeon AI PRO R9700
• Quelle: Ollama-Bibliothek, Mistral Large

#Häufig gestellte Fragen