Startseite › Katalog › Bestes LLM auf der RTX 3070 (8 GB) im Jahr 2026

Bestes LLM auf der RTX 3070 (8 GB) im Jahr 2026

Q: 3070 oder 3060 12 GB für LLMs?

Die 3060 12 GB gewinnt bei LLMs: 4 GB zusätzlicher VRAM ermöglichen 13–14B in Q4. Die 3070 bleibt bei 7B schneller (448 gegenüber 360 GB/s). Die Wahl hängt von Ihrer Priorität ab. Siehe 3060 12GB.

Q: Soll man auf die 5060 upgraden?

5060 = ebenfalls 8 GB, aber GDDR7 mit 448 GB/s + Blackwell Neural Engine = +60 % Leistung. Wenn LLMs der Hauptanwendungsfall sind und etwa 340 € für eine neue Karte ins Budget passen, ist das Upgrade sinnvoll. Siehe RTX 5060.

◆ Lokale KI — Ihr privates und kostenloses ChatGPT, auf Ihrem Rechner, in 1 h · 24 € · oder alle Kits für 49 € →

Rangliste aktualisiert am 09/10/2026

Die RTX 3070 (8 GB GDDR6, 448 GB/s) bleibt gebraucht eine brauchbare Option (~200–250 €) für Modelle mit 7–9B Parametern in Q4. Die Bandbreite ist gegenüber der RTX 3070 Ti begrenzt, die Karte ist aber funktionsfähig.

Angebote und Alternativen für lokale KI

RTX 3070 : Kaufalternative für lokale KI verfügbar — RTX 5060 Ti 16 GB :

AmazonPreis ansehen →

Welchen PC sollten Sie je nach Budget wählen? Unsere Auswahl von 800 bis 3 500 € →

Affiliate-Links — WelchesLLM kann eine Provision aus Käufen erhalten, ohne Mehrkosten für Sie; dies beeinflusst die unabhängig erstellte Rangliste nicht. Als Amazon-Partner erzielt WelchesLLM einen Gewinn aus qualifizierten Käufen.

Rangliste

🇺🇸 OLMo 3 7B Think (SFT)

zimplex · 7 Mrd. Parameter · Apache 2.0 · 16 000 Tokens ctx

SFT-„thinking“-Variante von OLMo 3 7B: schrittweises Schlussfolgern, 16k Kontext, ca. 4,2 GB VRAM bei Q4. Zu 100 % offen, Apache-2.0-Lizenz.

Warum dieser Rang SFT-„thinking“-Variante von OLMo 3 7B: schrittweises Schlussfolgern, 16k Kontext, ca. 4,2 GB VRAM bei Q4. Zu 100 % offen, Apache-2.0-Lizenz.

# HuggingFace : zimplex/olmo3-7b-think-sft-eosfix-16k-3ep-euc

Auf der RTX 3070

8 GB · 32 Tok/s

🇨🇳 GLM 5.3 7B

Zhipu AI · 7 Mrd. Parameter · MIT · Kontext: 128 000 Tokens

GLM 5.3 (Zhipu): Dichtes 7B-Modell, spezialisiert auf Code und Reasoning, 128k Kontext, ~4,1 GB VRAM bei Q4. Leicht, läuft auf GPUs mit 6-8 GB, MIT-Lizenz.

Warum dieser Rang GLM 5.3 (Zhipu): Dichtes 7B-Modell, spezialisiert auf Code und Reasoning, 128k Kontext, ~4,1 GB VRAM bei Q4. Leicht, läuft auf GPUs mit 6-8 GB, MIT-Lizenz.

ollama pull glm-5.3

Auf der RTX 3070

7 GB · 32 tok/s

🇺🇸 Granite 4.1 8B Instruct

IBM · 8 Mrd. Parameter · Apache 2.0 · Kontext: 131 072 Tokens

Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.

Warum dieser Rang Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.

# HuggingFace : ibm-granite/granite-4.1-8b

Auf der RTX 3070

Q5_K_M

6 GB · 12 Tok/s

🇺🇸 OLMo 3 7B

Allen AI · 7 Mrd. Parameter · Apache 2.0 · 8 192 Tokens ctx

Dichtes Modell mit 7B Parametern, zu 100 % offen (Gewichte + Daten + Code). Volle Transparenz für die Forschung.

Warum dieser Rang Dichtes Modell mit 7B Parametern, zu 100 % offen (Gewichte + Daten + Code). Volle Transparenz für die Forschung.

ollama run olmo-3:7b

Auf der RTX 3070

Q5_K_M

6 GB · 12 Tok/s

🇺🇸 Granite 4.2 8B

IBM · 8 Mrd. Parameter · Apache 2.0 · Kontext: 128 000 Tokens

Granite 4.2 8B (IBM): Dichtes Modell unter Apache 2.0, 128k Kontext, ~4,6 GB VRAM bei Q4. Chat, Code und Reasoning in mehreren Sprachen für Unternehmen.

Warum dieser Rang Granite 4.2 8B (IBM): Dichtes Modell unter Apache 2.0, 128k Kontext, ~4,6 GB VRAM bei Q4. Chat, Code und Reasoning in mehreren Sprachen für Unternehmen.

ollama pull granite4.2

Auf der RTX 3070

Q5_K_M

6 GB · 32 tok/s

🇺🇸 LFM2.5 7B

Liquid AI · 7 Mrd. Parameter · LFM Open License v1.0 · 32 768 Tokens ctx

LFM2.5 7B (Liquid AI): Denses Liquid Foundation Model, 32k Kontext, 4,1 GB VRAM bei Q4. Optimiert für CPU und Edge. Veröffentlichung im Mai 2026.

Warum dieser Rang LFM2.5 7B (Liquid AI): Denses Liquid Foundation Model, 32k Kontext, 4,1 GB VRAM bei Q4. Optimiert für CPU und Edge. Veröffentlichung im Mai 2026.

ollama pull lfm2.5

Auf der RTX 3070

7 GB · 32 tok/s

🇺🇸 LFM2.5 DSpark

Liquid AI · 7 Mrd. Parameter · LFM Open License v1.0 · 32 768 Tokens ctx

LFM2.5 DSpark (Liquid AI): Denses Liquid Foundation Model mit 7B, 32k Kontext, ~4,1 GB VRAM bei Q4. Vielseitiges Chat-Modell, optimiert für Edge/CPU.

Warum dieser Rang LFM2.5 DSpark (Liquid AI): Denses Liquid Foundation Model mit 7B, 32k Kontext, ~4,1 GB VRAM bei Q4. Vielseitiges Chat-Modell, optimiert für Edge/CPU.

# HuggingFace : LiquidAI/LFM2.5-DSpark

Auf der RTX 3070

7 GB · 32 tok/s

Vergleichstabelle

Rang	Modell	Params	VRAM Q4	Kontext	Lizenz	Auf der RTX 3070
#1	OLMo 3 7B Think (SFT)	7B	4,2 GB	16 000	Apache 2.0	32 Tok/s · Q8
#2	GLM 5.3 7B	7B	4.1 GB	128 000	MIT	32 Tok/s · Q8
#3	Granite 4.1 8B Instruct	8B	5 GB	131 072	Apache 2.0	12 tok/s · Q5_K_M
#4	OLMo 3 7B	7B	5 GB	8 192	Apache 2.0	12 tok/s · Q5_K_M
#5	Granite 4.2 8B	8B	4,6 GB	128 000	Apache 2.0	32 Tok/s · Q5_K_M
#6	LFM2.5 7B	7B	4.1 GB	32 768	LFM Open License v1.0	32 Tok/s · Q8
#7	LFM2.5 DSpark	7B	4.1 GB	32 768	LFM Open License v1.0	32 Tok/s · Q8

Das Lokale-KI-Paket

Ihr privates, kostenloses ChatGPT auf Ihrem Rechner in einer Stunde – mit LM Studio, Ollama, Open WebUI und Ihren Dokumenten, ganz ohne Cloud.

Lebenslanger Online-Zugang
PDF + Dateien
Lebenslange Updates

Das Lokale-KI-Paket → oder alle Kits lebenslang — 49 € →

Kostenloses Memo

Welches Code-Modell lässt sich auf IHREM Rechner ausführen?

Memo erhalten VRAM → bestes Code-Modell → Ollama-Befehl (alles auf einem Bildschirm, zum Kopieren und Einfügen). Und wechseln Sie zum Kit Copilote Local, um daraus ein wirklich funktionierendes Setup zu machen.

Das Kit „Copilote Local“ — die Ollama- + Cline- + Aider-Configs zum direkten Einfügen, angepasste Modelfiles, Hilfe bei Problemen, lebenslanger Zugang zum Onlinebereich →

Kein Spam. Abmeldung mit 1 Klick. Ihre Daten bleiben bei uns (werden nie weiterverkauft).

Ihre Karte → das beste Code-Modell für die lokale Ausführung und der exakte Ollama-Befehl:

Ihr VRAM	Typische GPUs / Macs	Empfohlenes Code-Modell	Ollama-Befehl
8 GB	RTX 4060 / 3060 · M1-M2 16 GB	Qwen 3.5 9B (Q4, 6,6 GB — 256k ctx)	`ollama run qwen3.5:9b`
12 GB	RTX 3060 12 GB / 4070 / 5070	Qwen 3.5 9B (Q8, 11 GB) oder Gemma 4 12B (7,6 GB)	`ollama run qwen3.5:9b-q8_0`
16 GB	RTX 5070 Ti / 4080 / 5080 · RX 9070 XT · M4 24 GB	Devstral 24B (Q4, 14 GB) — Code-Agent-Spezialist	`ollama run devstral:24b`
24 GB	RTX 3090 / 4090 · RX 7900 XTX · M4 Pro 48 GB	Qwen 3.8 27B (Q4, 18 GB) — „nahe an Copilot“	`ollama run qwen3.8:27b`
32 GB	RTX 5090	Qwen 3.6 35B-A3B (Q4, 23 GB) — schnelles MoE	`ollama run qwen3.6:35b`
48 GB+	Mac M4 Max 64 GB · M2 Ultra 128 GB	Qwen3-Coder 30B-A3B (Q8, 32 GB — 256k ctx)	`ollama run qwen3-coder:30b-a3b-q8_0`

💡 Chat/Agent ≠ Autovervollständigung. In der obigen Tabelle finden Sie Ihr Modell für Chat und Agent. Für die Inline-Autovervollständigung (FIM) behalten Sie ein kleines, dafür vorgesehenes Modell in der Variante -base : ollama run qwen2.5-coder:7b-base — das ist in diesem speziellen Fall immer noch der Referenzstandard. ⚠️ Qwen 3.8: sein Reasoning ist standardmäßig sehr hoch eingestellt, und es „denkt“ bei einfachen Anfragen zu viel nach — stellen Sie es auf low (oder schalten Sie es ab) beim ersten Start. ⚠️ Lizenzfalle: Codestral 22B = Mistral Non-Production License → zum Programmieren bei der Arbeit verboten. Qwen 3.5/3.8, Gemma 4 und Devstral sind unter Apache 2.0 lizenziert. 💡 Abstürze wegen Speicherproblemen? Halten Sie ca. 1,5 GB VRAM für den Kontext frei oder gehen Sie eine Quantisierungsstufe herunter.

🔌 Zum Einbinden in VS Code: Cline (Agent für mehrere Dateien), Aider (CLI) oder Tabby/Twinny (FIM-Autovervollständigung) — alle verbinden sich lokal mit Ollama. Das Kit Lokaler Copilot — Configs zum Einfügen + getestetes Setup — ist verfügbar: /copilote-local.

Methodik des Rankings

Filter: Q4_K_M ≤ 7 GB. Bonus 3-9B. 448 GB/s = gültige Eingabe.

Berücksichtigte Kriterien:

Q4_K_M ≤ 7 GB
Mistral 7B Q4 bei 30 Tok/s
GDDR6 448 GB/s
Gute Option auf dem Gebrauchtmarkt

Die Bewertung ist vollständig transparent: konsultieren Sie unsere Methodik für Details zur Berechnung des VRAM-Bedarfs und der Tokens pro Sekunde.

Häufige Fragen

3070 8 GB im Jahr 2026: relevant?

Ja, gebraucht für ~200–250 €. Mistral 7B Q4 (~4,5 GB) mit 30 Tokens/s, Phi-4 Mini mit 45+ Tokens/s. Die 8 GB sind bei Modellen ab 13B eine Einschränkung. Siehe guide.

3070 oder 3060 12 GB für LLMs?

Die 3060 mit 12 GB liegt bei LLMs vorn: 4 GB zusätzlicher VRAM ermöglichen 13–14B-Modelle in Q4. Die 3070 bleibt bei 7B schneller (448 vs. 360 GB/s). Die Wahl hängt von Ihrer Priorität ab. Siehe 3060 12GB.

Welche Quantisierung auf der 3070?

Q5_K_M für 7B (maximale Qualität, ~5,5 GB). Q4_K_M für 8–9B (~5–5,5 GB). Versuchen Sie nicht, ein 13B-Modell mit Q3 unterzubringen – die Qualität leidet.

Soll man auf die 5060 upgraden?

5060 = dieselben 8 GB, aber GDDR7 mit 448 GB/s + Blackwell Neural Engine = +60 % Leistung. Wenn LLMs der Hauptanwendungszweck sind und ein Budget von ~340 € für eine neue Karte passt, ist das Upgrade sinnvoll. Siehe RTX 5060.

Weiterführende Informationen

Die QuelLLM-Pakete Der maßgebliche Leitfaden für jeden Anwendungsfall

Lokale KI Lokaler Copilot Lokale Agenten Lokales RAG KI im Unternehmen KI ohne Filter Mac KI-Bilder

Alle Kits lebenslang — 49 €