🇺🇸 Granite 4.1 8B Instruct
Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.
# HuggingFace : ibm-granite/granite-4.1-8b
Ranking aktualisiert am 22.09.2026
Die RTX 4070 Ti (12 GB GDDR6X, 504 GB/s) ist in Q4 auf 14B begrenzt. Sie eignet sich hervorragend für 7–14B-Modelle, schränkt aber die Nutzung von 24B+-Modellen ein (die mindestens 14 GB benötigen).
RTX 4070 Ti : Kaufalternative für lokale KI verfügbar — RTX 5070 Ti 16 GB :
Welchen PC sollten Sie je nach Budget wählen? Unsere Auswahl von 800 bis 3 500 € →
Affiliate-Links — QuelLLM kann bei Käufen eine Provision erhalten, ohne dass Ihnen Mehrkosten entstehen. Dies beeinflusst die unabhängig erstellte Rangliste nicht. Als Amazon-Partner verdient QuelLLM an qualifizierten Käufen.
Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.
# HuggingFace : ibm-granite/granite-4.1-8b
Gemma 4 12B (Google): Dichtes multimodales Modell (Text, Vision, Audio), 256k Kontext, ~7 GB VRAM Q4. Apache 2.0, mehrsprachig.
# HuggingFace : google/gemma-4-12B
Dichtes 14B-Modell mit Hybrid-Thinking. Gleichauf mit Qwen 2.5 32B Base bei STEM/Code.
ollama run qwen3:14b
Granite 4.2 8B (IBM): Dichtes Modell unter Apache 2.0, 128k Kontext, ~4,6 GB VRAM bei Q4. Chat, Code und Reasoning in mehreren Sprachen für Unternehmen.
ollama pull granite4.2
SFT-„thinking“-Variante von OLMo 3 7B: schrittweises Schlussfolgern, 16k Kontext, ca. 4,2 GB VRAM bei Q4. Zu 100 % offen, Apache-2.0-Lizenz.
# HuggingFace : zimplex/olmo3-7b-think-sft-eosfix-16k-3ep-euc
GLM 5.3 (Zhipu): Dichtes 7B-Modell, spezialisiert auf Code und Reasoning, 128k Kontext, ~4,1 GB VRAM bei Q4. Leicht, läuft auf GPUs mit 6-8 GB, MIT-Lizenz.
ollama pull glm-5.3
14B-Reasoning-Modell unter MIT-Lizenz. Übertrifft R1-Distill-Llama-70B in Microsofts AIME-24/25-Evaluierungen mit einem Fünftel der Parameterzahl.
ollama run phi4-reasoning:14b
| Rang | Modell | Params | VRAM Q4 | Kontext | Lizenz | auf RTX 4070 Ti |
|---|---|---|---|---|---|---|
| #1 | Granite 4.1 8B Instruct | 8B | 5 GB | 131 072 | Apache 2.0 | 35 tok/s · Q8 |
| #2 | Gemma 4 12B | 12B | 7 GB | 262 144 | Apache 2.0 | 28 tok/s · Q5_K_M |
| #3 | Qwen 3 14B | 14B | 9 GB | 131 072 | Apache 2.0 | 20 Tok/s · Q5_K_M |
| #4 | Granite 4.2 8B | 8B | 4,6 GB | 128 000 | Apache 2.0 | 50 Tok/s · Q8 |
| #5 | OLMo 3 7B Think (SFT) | 7B | 4,2 GB | 16 000 | Apache 2.0 | 50 Tok/s · Q8 |
| #6 | GLM 5.3 7B | 7B | 4.1 GB | 128 000 | MIT | 50 Tok/s · Q8 |
| #7 | Phi-4 Reasoning 14B | 14B | 9 GB | 32 768 | MIT | 20 Tok/s · Q5_K_M |
Ihr privates, kostenloses ChatGPT auf Ihrem Rechner in einer Stunde – mit LM Studio, Ollama, Open WebUI und Ihren Dokumenten, ganz ohne Cloud.
Kostenloses Memo
Memo erhalten VRAM → bestes Code-Modell → Ollama-Befehl (alles auf einem Bildschirm, zum Kopieren und Einfügen). Und wechseln Sie zum Kit Copilote Local, um daraus ein wirklich funktionierendes Setup zu machen.
Das Kit „Copilote Local“ — die Ollama- + Cline- + Aider-Configs zum direkten Einfügen, angepasste Modelfiles, Hilfe bei Problemen, lebenslanger Zugang zum Onlinebereich →Kein Spam. Abmeldung mit 1 Klick. Ihre Daten bleiben bei uns (werden nie weiterverkauft).
Ihre Karte → das beste Code-Modell für die lokale Ausführung und der exakte Ollama-Befehl:
| Ihr VRAM | Typische GPUs / Macs | Empfohlenes Code-Modell | Ollama-Befehl |
|---|---|---|---|
| 8 GB | RTX 4060 / 3060 · M1-M2 16 GB | Qwen 3.5 9B (Q4, 6,6 GB — 256k ctx) | ollama run qwen3.5:9b |
| 12 GB | RTX 3060 12 GB / 4070 / 5070 | Qwen 3.5 9B (Q8, 11 GB) oder Gemma 4 12B (7,6 GB) | ollama run qwen3.5:9b-q8_0 |
| 16 GB | RTX 5070 Ti / 4080 / 5080 · RX 9070 XT · M4 24 GB | Devstral 24B (Q4, 14 GB) — Code-Agent-Spezialist | ollama run devstral:24b |
| 24 GB | RTX 3090 / 4090 · RX 7900 XTX · M4 Pro 48 GB | Qwen 3.8 27B (Q4, 18 GB) — „nahe an Copilot“ | ollama run qwen3.8:27b |
| 32 GB | RTX 5090 | Qwen 3.6 35B-A3B (Q4, 23 GB) — schnelles MoE | ollama run qwen3.6:35b |
| 48 GB+ | Mac M4 Max 64 GB · M2 Ultra 128 GB | Qwen3-Coder 30B-A3B (Q8, 32 GB — 256k ctx) | ollama run qwen3-coder:30b-a3b-q8_0 |
-base : ollama run qwen2.5-coder:7b-base — das ist in diesem speziellen Fall immer noch der Referenzstandard. ⚠️ Qwen 3.8: sein Reasoning ist standardmäßig sehr hoch eingestellt, und es „denkt“ bei einfachen Anfragen zu viel nach — stellen Sie es auf low (oder schalten Sie es ab) beim ersten Start. ⚠️ Lizenzfalle: Codestral 22B = Mistral Non-Production License → zum Programmieren bei der Arbeit verboten. Qwen 3.5/3.8, Gemma 4 und Devstral sind unter Apache 2.0 lizenziert. 💡 Abstürze wegen Speicherproblemen? Halten Sie ca. 1,5 GB VRAM für den Kontext frei oder gehen Sie eine Quantisierungsstufe herunter.🔌 Zum Einbinden in VS Code: Cline (Agent für mehrere Dateien), Aider (CLI) oder Tabby/Twinny (FIM-Autovervollständigung) — alle verbinden sich lokal mit Ollama. Das Kit Lokaler Copilot — Configs zum Einfügen + getestetes Setup — ist verfügbar: /copilote-local.
Filter: Q4_K_M ≤ 11 GB. Bonus für 7–14B-Modelle (Spitzenbedarf 12 GB). 504 GB/s = solider Durchsatz in der Mittelklasse.
Berücksichtigte Kriterien:
Die Bewertung ist vollständig transparent: konsultieren Sie unsere Methodik für Details zur Berechnung des VRAM-Bedarfs und der Tokens pro Sekunde.
4070 Ti: Reichen 12 GB?
Ja für 7–14B in Q4. Mistral Nemo 12B Q5 (~9 GB) oder Qwen 3 14B Q4 (~8 GB) erreichen 35–45 tok/s. Für 24B benötigt man 16 GB: siehe 4070 Ti Super.
4070 Ti vs 4070 Super?
Ebenfalls 12 GB GDDR6X mit 504 GB/s. Die 4070 Ti hat ~10 % mehr CUDA-Kerne. Der Unterschied ist für LLMs gering. Siehe RTX 4070 Super.
Welche Quantisierung bei der 4070 Ti?
Q5_K_M für 7–8B (maximale Qualität, ~5 GB). Q4_K_M für 13–14B (Qwen 3 14B ~8 GB). Q6_K, wenn möglich, für eine Qualität nahezu auf FP16-Niveau.
Lohnt sich das 2026?
Gebraucht für ~450 €: ja — eine solide Mittelklasse-GPU für LLMs. Beim Neukauf bevorzugen Sie die 5070 (~650 €), die von GDDR7 profitiert. Siehe RTX 5070.