Welches LLM auf einer RTX 3050 (6 / 8 GB) ?

#Die RTX 3050 im Jahr 2026: Was auf ihr läuft

Eine RTX 3050 führt Modelle mit 3 bis 4 Milliarden Parametern in Q4-Quantisierung komfortabel aus. Laut dem QuelLLM-Katalog wiegt Granite 4.1 3B 2 GB und Qwen 3.5 4B 2,3 GB: Sie passen in 6 wie in 8 GB, mit Platz für den Kontext. Ein Modell mit 8 Milliarden Parametern wie Granite 4.2 8B (4,6 GB in Q4) läuft auf der 8-GB-Version und ist auf der 6-GB-Version an der Grenze, die nur 5 804 MiB für llama.cpp bereitstellt. Ein 9B wie Qwen 3.5 9B (6 GB Gewicht) passt auf keine der beiden, ohne in den RAM auszuweichen. Was die Geschwindigkeit betrifft, ist das einzige öffentliche Ergebnis das einer 6-GB-Karte: 37 Tokens pro Sekunde auf einem Modell mit 7 Milliarden Parametern in Q4_0. Das ist akzeptabel für Gespräche, aber die Karte ist an ihrer Grenze, sobald das Modell größer wird.

#RTX 3050 6 GB oder 8 GB: zwei unterschiedliche Karten

Unter demselben Namen hat NVIDIA zwei Produkte verkauft. Die Messwerte dürfen nicht vermischt werden: Die 6-GB-Version ist bei gleicher Speichernutzung langsamer, weil ihr 96-Bit-Bus die Bandbreite auf 168 GB/s begrenzt, gegenüber 224 GB/s bei der 8-GB-Version.

Der geschätzte Wert für die 8-GB-Version ergibt sich, indem auf deren 224 GB/s das Verhältnis zwischen dem Messwert und der theoretischen Obergrenze der 6-GB-Version angewendet wird. Letztere erreicht etwa 85 % dessen, was ihre Speicherbandbreite ermöglicht. Das ist eine Hochrechnung und darf nicht als Messergebnis zitiert werden. Mit ihrer Leistungsaufnahme von 70 W ist die 6-GB-Version für einen älteren PC mit einem leistungsschwachen Netzteil interessant; das NVIDIA-Datenblatt führt für diese Version zudem keinen zusätzlichen Stromanschluss auf.

#Kompatible Modelle je nach Speichergröße

Als Faustregel gilt: mindestens ein Gigabyte für den Kontext und das System freilassen. Auf der 6-GB-Karte stehen llama.cpp tatsächlich 5.804 MiB zur Verfügung, also etwas weniger als 5,7 GB: Ein Modell mit 4,6 GB ist daher denkbar, der Kontext muss jedoch kurz bleiben. Auf der 8-GB-Karte lässt dasselbe Modell fast drei Gigabyte Spielraum. Der Leitfaden zu 6 GB VRAM beschreibt ausführlich die Modelle, die damit gut zurechtkommen.

• Welches LLM für 6 GB VRAM?
• Welches LLM passt in 8 GB VRAM?

#Geschwindigkeit: Messungen und Schätzungen

In die gemeinschaftlich gepflegte Tabelle von llama.cpp wurde im Juli 2026 eine Messung auf einer RTX 3050 mit 6 GB aufgenommen: 37,39 Tokens pro Sekunde bei der Generierung mit Llama 2 7B in Q4_0, einer 3,56 GiB großen Datei. Mit Flash Attention steigt der Wert auf 38,51. Dieses Ergebnis lässt sich auf zwei Arten einordnen. Erstens erreicht es etwa 85 % dessen, was die Bandbreite von 168 GB/s ermöglicht, was einer guten Ausnutzung entspricht: Die Karte wird durch ihren Speicher begrenzt, nicht durch ihre Kerne. Zweitens sinkt der Durchsatz bei längerer Generierung: Bei 2.048 Tokens fällt er auf 33,52 Tokens pro Sekunde, also etwa 10 % weniger.

Mit einem Dreisatz auf Grundlage der Dateigröße lässt sich auf andere Modelle extrapolieren. Es handelt sich um theoretische Obergrenzen, die aus der Messung der 6-GB-Version berechnet wurden, nicht um veröffentlichte Ergebnisse.

Zum Vergleich erzeugt die RTX 3060 12 GB im selben Test 75,6 Tokens pro Sekunde: doppelt so viele wie die 3050 6 GB. Bei einem Modell mit 8 Milliarden Parametern ist der Unterschied deutlich spürbar, da die 3050 6 GB nach theoretischer Schätzung auf etwa 30 Tokens pro Sekunde abfällt. Das bleibt gut lesbar, ist aber langsamer als das Lesen.

#Tipps, um 6 GB optimal zu nutzen

1. 01
   Ein Modell mit höchstens 4 Milliarden Parametern wählen

   Qwen 3.5 4B oder Granite 4.1 3B in Q4 lassen 3 bis 4 GB Speicherreserve frei, was ausreichend Spielraum für den Kontext und einen deutlich höheren Durchsatz ermöglicht.
2. 02
   Video-Speicher freigeben

   Schließen Sie den Browser, Spiele und alles andere, was die Grafikkarte nutzt: Bei 6 GB geht jedes Gigabyte, das eine andere Anwendung belegt, zulasten des verfügbaren Kontexts.
3. 03
   K/V-Cache quantisieren

   Die Ollama-Dokumentation erklärt, dass der K/V-Cache quantisiert werden kann, wenn Flash Attention aktiviert ist. Setzen Sie zuerst OLLAMA_FLASH_ATTENTION=1 und dann OLLAMA_KV_CACHE_TYPE=q8_0, bevor Sie den Server starten.
4. 04
   Das Laden kontrollieren

   Führen Sie nach einem ersten Prompt ollama ps aus: Die Spalte Processor muss 100 % GPU anzeigen. Andernfalls passt das Modell nicht vollständig in den GPU-Speicher, und die Geschwindigkeit bricht ein.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

#Die vorhandene Version identifizieren

Beide Karten tragen denselben Namen, und die Gebrauchtanzeigen geben nicht immer den Speicher an. Mehrere Hinweise ermöglichen eine Entscheidung, ohne den PC zu öffnen. Das Datenblatt NVIDIA unterscheidet die Leistung der Karte: 130 W für die 8-GB-Version, 70 W für die 6-GB-Version, mit einer empfohlenen Systemversorgung von 550 W gegenüber 300 W. Eine Karte ohne externen Stromanschluss ist daher sehr wahrscheinlich eine 6-GB-Version, auch wenn einige Herstellermodelle einen solchen hinzufügen können. Sobald die Karte installiert ist, zeigt der Befehl nvidia-smi den gesamten Speicher an: Ein Wert in der Nähe von 6 000 MiB kennzeichnet die kleine Version, und ein Wert in der Nähe von 8 000 MiB die große. Der llama.cpp-Test der 6 GB hat außerdem 5 804 MiB nutzbaren Speicher festgestellt, etwas weniger als die Nennkapazität.

nvidia-smi --query-gpu=name,memory.total --format=csv

Diese Prüfung verhindert eine kostspielige Verwechslung: Wenn Sie für eine Karte mit 8 GB bezahlen und eine mit 6 GB erhalten, verändert das, welche Modelle Sie ausführen können, denn Granite 4.2 8B ist darauf kaum noch praktikabel. Verlangen Sie vor dem Kauf immer einen Screenshot von nvidia-smi und lehnen Sie Angebote ab, die keine Angaben zum Speicher machen. Gehen Sie bei einer Karte, die bereits in einem übernommenen PC eingebaut ist, genauso vor: Der von Windows angezeigte Name reicht nicht aus, um die beiden Versionen zu unterscheiden.

#Der Kontext: Wie weit kann man mit 6 GB gehen?

Die Tabelle von llama.cpp zeigt, dass der Durchsatz der 3050 mit 6 GB zwischen 128 und 2.048 generierten Tokens um 10 % sinkt. Der zweite Effekt betrifft den Speicher: Der Kontext-Cache verbraucht VRAM proportional zur Länge des Gesprächs. Auf einer Karte mit 6 GB und einem Modell mit 4 Milliarden Parametern in Q4 (2,3 GB) bleiben mehr als 3 GB für den Cache übrig, sodass Kontexte mit mehreren tausend Tokens problemlos möglich sind. Bei einem 8B-Modell mit 4,6 GB bleibt nur etwa ein Gigabyte übrig: Der Kontext wird deutlich früher zum begrenzenden Faktor als die Geschwindigkeit.

Zwei Gewohnheiten helfen, unangenehme Überraschungen zu vermeiden. Begrenzen Sie zunächst das Kontextfenster bewusst auf Ihren tatsächlichen Bedarf, statt ein Modell, das ein Kontextfenster von Hunderttausenden Tokens verspricht, einen unnötigen Teil davon reservieren zu lassen. Teilen Sie anschließend lange Dokumente auf: Drei Texte mit jeweils zweitausend Tokens zusammenzufassen benötigt weniger Speicher als einen einzigen mit sechstausend. Der Leitfaden zum Kontextfenster erläutert diese Abwägungen im Detail.

• Das Kontextfenster verstehen
• KV-Cache quantisieren: VRAM sparen (langer Kontext)

#Was bringt eine RTX 3050 tatsächlich für die lokale KI?

Mit einem Modell mit 3 bis 4 Milliarden Parametern in Q4 reicht sie für gezielte Aufgaben aus: einen Text zusammenfassen, umformulieren, Nachrichten klassifizieren, einfache Fragen zu einem kurzen Dokument beantworten oder Code automatisch vervollständigen. Für lange Gespräche mit einem 8B-Modell, RAG mit umfangreichen Dokumenten oder Denkaufgaben, die die leistungsfähigsten Modelle erfordern, ist sie schlecht geeignet. Die Grenze liegt nicht nur bei der Geschwindigkeit: Kleine Modelle machen mehr Fehler und verlieren schneller den Faden. Planen Sie daher ein, ihre Antworten bei wichtigen Themen zu überprüfen, und überlassen Sie ihnen keine folgenreichen Entscheidungen ohne menschliche Prüfung.

Wenn Sie vor allem lokale KI kostengünstig kennenlernen möchten, erfüllt die Karte diesen Zweck. Wenn Sie einen Assistenten für den täglichen Gebrauch möchten, ist ein 8B-Modell mit 8 GB Speicher das Minimum. 12 GB bieten zusätzlichen Spielraum, der dank der Gebrauchtpreise oft erschwinglich ist.

• Welches LLM läuft auf der RTX 3060 mit 12 GB?
• Preise für Grafikkarten für lokale KI (wöchentliche Preisbeobachtung)

#Fazit 2026

Nutzung auf kleine Modelle beschränkt

Bei 6 GB bleiben Sie bei Modellen mit höchstens 4 Milliarden Parametern. Bei 8 GB funktioniert ein 8B-Modell in Q4 mit einem moderaten Kontext.

Bevorzugen Sie eine Grafikkarte mit 12 GB

Die 3060 mit 12 GB verdoppelt den gemessenen Durchsatz und ermöglicht die Nutzung von Modellen mit 12 Milliarden Parametern. Der Preisunterschied auf dem Gebrauchtmarkt schwankt jede Woche: Sehen Sie sich die Preisübersicht an.

Beim Kauf

Wählen Sie die 3050 nur, wenn sie bereits in Ihrem PC steckt oder das Budget sehr knapp ist. Prüfen Sie die Version: 6 oder 8 GB – in den Angeboten wird das nicht immer angegeben.

#Häufig gestellte Fragen

• Quelle: Leistungstabelle von llama.cpp unter CUDA
• Quelle: NVIDIA-Datenblatt zur RTX 3050
• Quelle: Von Ollama unterstützte NVIDIA-Grafikkarten
• Quelle: FAQ von Ollama (ollama ps, K/V-Cache)