Welches LLM eignet sich für die RTX 5060 Ti (8 / 16 GB) ?

#RTX 5060 Ti für einen lokalen LLM: Was 16 GB bei 448 GB/s ermöglichen

Beim Betrieb eines lokalen LLM kann eine RTX 5060 Ti mit 16 GB Modelle mit bis zu 14 bis 20 Milliarden Parametern vollständig im VRAM halten, doch ihre Bandbreite von 448 GB/s macht sie zwei- bis dreimal langsamer als High-End-Grafikkarten. Laut der Ollama-Modellbibliothek benötigt Qwen3 14B 9,3 GB und gpt-oss 20B 14 GB. Hardware Corner misst 32,9 Tokens pro Sekunde bei Qwen3 14B mit 16.000 Kontexttokens und 43,8 bei gpt-oss 20B mit 128.000 Kontexttokens. Modelle mit 27 bis 32 Milliarden Parametern, die 17 GB oder mehr benötigen, passen nicht hinein. Die Version mit 8 GB ist dagegen auf Modelle mit höchstens 9 Milliarden Parametern beschränkt.

Speicher

16 GB oder 8 GB GDDR7 auf einem 128-Bit-Bus, laut NVIDIA; 448 GB/s Bandbreite, laut Hardware Corner.

Verbrauch

Laut NVIDIA beträgt die Leistungsaufnahme der Grafikkarte 180 W, und für das System ist ein Netzteil mit 600 W erforderlich. Dieser Wert liegt über den häufig genannten 550 W.

Software

Compute Capability 12.0, von Ollama mit einem Treiber ab Version 550 unterstützt.

#8 GB oder 16 GB: Die einzige echte Frage

Beide Versionen haben dieselbe GPU und dieselbe Speicherbandbreite: Nur die Speicherkapazität unterscheidet sich, und sie entscheidet darüber, was Sie ausführen können. NVIDIA bietet die 5060 Ti mit 16 GB und mit 8 GB an; der folgende Vergleich verwendet die Dateien aus der Ollama-Bibliothek, die am 29. September 2026 eingesehen wurden.

Bei 8 GB lässt ein Modell mit 9 Milliarden Parametern 1,4 GB für den Kontext und das System übrig: Das ist knapp, und die Auslagerung in den langsameren Arbeitsspeicher wird schnell nötig. Die 16-GB-Version verdoppelt die Auswahl an Modellen und ermöglicht den Einsatz von Modellen mit 12 bis 20 Milliarden Parametern. Für die regelmäßige Nutzung von LLMs ist die 16-GB-Version die einzige, die noch Spielraum bietet, auch wenn sie weiterhin weit hinter einer 24-GB-Karte zurückbleibt.

#Den verfügbaren Spielraum vor dem Herunterladen eines Modells berechnen

Die Regel ist einfach: Die Speicherkapazität der Grafikkarte abzüglich der Dateigröße ergibt den zunächst verbleibenden Spielraum. Dieser muss den KV-Cache, die Puffer der Inferenz-Engine und den Speicherbedarf des Betriebssystems für die Anzeige abdecken. Bei Qwen3 14B bleiben mit 16 - 9,3 noch 6,7 GB; bei Qwen 3.5 9B auf der 8-GB-Version bleiben mit 8 - 6,6 noch 1,4 GB. Je geringer der Spielraum, desto stärker müssen Sie den Kontext reduzieren und den Cache quantisieren. Wenn ollama ps eine Aufteilung zwischen CPU und GPU anzeigt, passt das Modell oder sein Kontext nicht vollständig in den Grafikspeicher und wird teilweise in den Arbeitsspeicher ausgelagert: Die Generierung wird dann durch die Geschwindigkeit des Arbeitsspeichers begrenzt.

Bei der 8-GB-Version verhindern drei Gewohnheiten die meisten Fälle, in denen der Grafikspeicher nicht ausreicht. Wählen Sie ein Modell mit höchstens 9 Milliarden Parametern, dessen Datei unter 7 GB bleibt. Halten Sie den Kontext klein, solange ollama ps 100 % GPU anzeigt. Und schließen Sie vor dem Start des Modells Anwendungen, die Grafikspeicher verbrauchen, etwa den Browser oder Spiele.

• Welches LLM für 8 GB VRAM: die Modelle für die 8-GB-Version

#Empfohlene Modelle für 16 GB

Der richtige Reflex ist, mit Qwen3 14B oder gpt-oss 20B zu beginnen. Qwen3 14B lässt fast 7 GB für den Kontext frei. gpt-oss 20B passt in 14 GB, da seine Experten-Gewichte laut Ollama in MXFP4 mit 4,25 Bits pro Parameter quantisiert sind, was es ermöglicht, auf 16 GB Speicher zu laufen. Ein 24-Milliarden-Modell in Q4, wie Devstral Small 2 (15 GB), lässt nur ein GB übrig: Es reicht für kurze Wechsel, aber nicht für einen Agenten. Ein lokales RAG fügt ein Embeddings-Modell hinzu: bge-m3 wiegt 1,2 GB in Ollama, was zusammen mit Qwen 3.5 9B insgesamt 7,8 GB ergibt.

• Welcher LLM für 16 GB VRAM: die vollständige Liste, unabhängig von der Karte

#Ollama auf einer RTX 5060 Ti installieren

1. 01
   Treiber prüfen

   Führen Sie nvidia-smi in einem Terminal aus: Der Treiber muss mindestens Version 550 haben (551.61 unter Windows), und als Gesamtspeicher müssen 16 GB angezeigt werden, bei der anderen Version 8 GB.
2. 02
   Ollama installieren

   Installieren Sie Ollama von der offiziellen Website. Die lokale API lauscht auf http://localhost:11434.
3. 03
   Ein Modell starten

   Führen Sie ollama run qwen3:14b auf 16 GB oder ollama run qwen3.5:9b auf 8 GB aus. Das Herunterladen erfolgt nur einmal.
4. 04
   Verteilung prüfen

   Führen Sie in einem zweiten Terminal ollama ps aus: Die Spalte Prozessor muss 100 % GPU anzeigen. Bei 8 GB bedeutet eine Aufteilung zwischen CPU und GPU, dass das Modell oder der Kontext nicht vollständig in den GPU-Speicher passt: Wählen Sie ein Modell mit geringerem Speicherbedarf.
5. 05
   Kontext anpassen

   Legen Sie die Kontextlänge mit OLLAMA_CONTEXT_LENGTH fest und führen Sie anschließend ollama ps erneut aus. Falls der verbleibende Spielraum nicht ausreicht, setzen Sie beim Start OLLAMA_FLASH_ATTENTION auf 1 und OLLAMA_KV_CACHE_TYPE auf q8_0.

ollama run qwen3:14b
ollama run gpt-oss:20b
ollama ps

# Exemple de la documentation Ollama : contexte de 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Ollama auf Windows 11 installieren: umfassender Guide

#Gemessene Durchsatzraten: Die Bandbreite bestimmt das Tempo

Die Zahlen stammen von Hardware Corner, wo die 16-GB-Version mit llama.cpp und Kontextgrößen von 4k bis 128k getestet wird. Es handelt sich nicht um Messwerte von QuelLLM.

Die Generierung wird durch die Bandbreite begrenzt: Die theoretische Obergrenze entspricht ungefähr der Bandbreite geteilt durch den Speicherbedarf der Modellgewichte. Für Qwen3 14B (9,3 GB) ergibt 448 ÷ 9,3 einen Wert von 48 Tokens pro Sekunde; der bei 4k gemessene Wert von 41,1 erreicht 85 % davon. Der Kontext kostet Geschwindigkeit: Qwen3 14B verliert zwischen 4k und 32k 37 % (von 41,1 auf 25,9). gpt-oss 20B, ein Expertenmodell, überschreitet mit 92,1 Tokens pro Sekunde seine scheinbare Obergrenze (448 ÷ 14 = 32), weil es pro Token nur einen Teil seiner Modellgewichte liest.

Ollama legt die Standardkontextgröße anhand des Grafikspeichers fest: Die Dokumentation nennt 4k Tokens bei weniger als 24 GiB VRAM und empfiehlt mindestens 64.000 Tokens für Agenten und die Webrecherche. Die 5060 Ti fällt in die 4k-Kategorie. Laut Ollamas FAQ reduziert q8_0 den Speicherbedarf des KV-Caches auf etwa die Hälfte des Bedarfs bei f16, bei einem sehr geringen Präzisionsverlust: Das ist die erste Einstellung, die bei 16 GB aktiviert werden sollte, und bei 8 GB ist sie unverzichtbar.

• KV-Cache quantisieren, um bei langem Kontext VRAM zu sparen

#5060 Ti im Vergleich zu anderen Karten: der gemessene Unterschied

Dieses Diagramm zeigt den Kompromiss der 5060 Ti: Sie erzeugt fast die Hälfte schneller als die 4060 Ti 16 GB (100 ÷ 68), dank ihrer GDDR7-Speicherung (448 gegen 288 GB/s), bleibt jedoch weit hinter der 5070 Ti, die die gleiche Kapazität mit 76 % höherer Geschwindigkeit bietet. Bei reinem Durchsatz ist eine 4070 Super mit 12 GB schneller, hält aber gpt-oss 20B. Laut Hardware Corner ist ihr Preis-Leistungs-Verhältnis in 2026 die „value king“ für Anfänger; vergleichen Sie dies mit dem aktuellen Preisverlauf.

Hardware Corner weist auch darauf hin, dass zwei Karten mit jeweils 16 GB insgesamt 32 GB ermöglichen, ohne den Preis einer Spitzenkarte zahlen zu müssen. Die Aufteilung auf zwei GPUs erfolgt über llama.cpp und dessen Modus tensor-split, der im Multi-GPU-Leitfaden ausführlich beschrieben wird; sie erhöht die Kapazität, nicht die Geschwindigkeit pro Karte.

• Multi-GPU-LLM mit llama.cpp: tensor-split auf 2 Karten

#Urteil: 16 GB, 8 GB oder eine andere Karte

Eine Entscheidungsmethode lässt sich auf zwei Fragen reduzieren. Was ist das größte Modell, das Sie ausführen möchten? Unter 9 Milliarden genügt die 8-GB-Version; zwischen 12 und 20 Milliarden brauchen Sie die 16-GB-Version; darüber hinaus benötigen Sie eine Karte mit 24 GB oder zwei Karten. Welche Geschwindigkeit akzeptieren Sie? Bei 40 Tokens pro Sekunde mit einem 14B-Modell lässt sich der Text weiterhin flüssig lesen; die 5070 Ti lohnt sich nur, wenn Sie lange Texte generieren oder mehrere Personen bedienen.

Für das Fine-Tuning gibt Unsloth die Mindestanforderungen an VRAM bei QLoRA 4 Bit an: 6 GB für ein Modell mit 8 Milliarden Parametern, 8,5 GB für 14 Milliarden und 22 GB für 27 Milliarden. Die 16-GB-Version ermöglicht es daher, ein 14B-Modell zu fine-tunen, mit einer Batch-Größe von 1 und einem kurzen Kontext. Für die aktuellen Preise konsultieren Sie unsere Übersicht, die den niedrigsten Preis jeder Karte zweimal pro Woche erfasst.

• Preise für Grafikkarten für lokale KI (zweimal pro Woche aktualisiert)

• Quelle: NVIDIA, Spezifikationen der RTX 5060-Familie
• Quelle: Hardware Corner, Benchmarks für LLM auf RTX 5060 Ti 16 GB
• Quelle: Ollama, Modellseite gpt-oss
• Quelle: Ollama-Dokumentation, Kontextlänge
• Quelle: Unsloth, für Fine-Tuning erforderlicher VRAM

#Häufig gestellte Fragen