🇺🇸 Granite 4.1 8B Instruct
Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.
# HuggingFace : ibm-granite/granite-4.1-8b
Ranking aktualisiert am 22.09.2026
Die Radeon RX 6700 XT (12 GB GDDR6, 384 GB/s) ist eine AMD-Mittelklassekarte mit RDNA 2. 12 GB, gebraucht für ~250 € = Qwen 3 14B Q4 lässt sich über ROCm betreiben.
Radeon RX 6700 XT : Kaufalternative für lokale KI verfügbar — Radeon RX 9070 XT 16 GB :
Warum diese Wahl? Unser vollständiger Artikel zur Radeon RX 9070 XT 16 GB →
Welchen PC sollten Sie je nach Budget wählen? Unsere Auswahl von 800 bis 3 500 € →
Affiliate-Links — QuelLLM kann bei Käufen eine Provision erhalten, ohne dass Ihnen Mehrkosten entstehen. Dies beeinflusst die unabhängig erstellte Rangliste nicht. Als Amazon-Partner verdient QuelLLM an qualifizierten Käufen.
Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.
# HuggingFace : ibm-granite/granite-4.1-8b
Gemma 4 12B (Google): Dichtes multimodales Modell (Text, Vision, Audio), 256k Kontext, ~7 GB VRAM Q4. Apache 2.0, mehrsprachig.
# HuggingFace : google/gemma-4-12B
Dichtes 14B-Modell mit Hybrid-Thinking. Gleichauf mit Qwen 2.5 32B Base bei STEM/Code.
ollama run qwen3:14b
Granite 4.2 8B (IBM): Dichtes Modell unter Apache 2.0, 128k Kontext, ~4,6 GB VRAM bei Q4. Chat, Code und Reasoning in mehreren Sprachen für Unternehmen.
ollama pull granite4.2
SFT-„thinking“-Variante von OLMo 3 7B: schrittweises Schlussfolgern, 16k Kontext, ca. 4,2 GB VRAM bei Q4. Zu 100 % offen, Apache-2.0-Lizenz.
# HuggingFace : zimplex/olmo3-7b-think-sft-eosfix-16k-3ep-euc
GLM 5.3 (Zhipu): Dichtes 7B-Modell, spezialisiert auf Code und Reasoning, 128k Kontext, ~4,1 GB VRAM bei Q4. Leicht, läuft auf GPUs mit 6-8 GB, MIT-Lizenz.
ollama pull glm-5.3
14B-Reasoning-Modell unter MIT-Lizenz. Übertrifft R1-Distill-Llama-70B in Microsofts AIME-24/25-Evaluierungen mit einem Fünftel der Parameterzahl.
ollama run phi4-reasoning:14b
| Rang | Modell | Params | VRAM Q4 | Kontext | Lizenz | Auf Radeon RX 6700 XT |
|---|---|---|---|---|---|---|
| #1 | Granite 4.1 8B Instruct | 8B | 5 GB | 131 072 | Apache 2.0 | 12 Tok/s · Q8 |
| #2 | Gemma 4 12B | 12B | 7 GB | 262 144 | Apache 2.0 | 18 tok/s · Q5_K_M |
| #3 | Qwen 3 14B | 14B | 9 GB | 131 072 | Apache 2.0 | 6 tok/s · Q5_K_M |
| #4 | Granite 4.2 8B | 8B | 4,6 GB | 128 000 | Apache 2.0 | 32 Tok/s · Q8 |
| #5 | OLMo 3 7B Think (SFT) | 7B | 4,2 GB | 16 000 | Apache 2.0 | 32 Tok/s · Q8 |
| #6 | GLM 5.3 7B | 7B | 4.1 GB | 128 000 | MIT | 32 Tok/s · Q8 |
| #7 | Phi-4 Reasoning 14B | 14B | 9 GB | 32 768 | MIT | 6 tok/s · Q5_K_M |
Ihr privates, kostenloses ChatGPT auf Ihrem Rechner in einer Stunde – mit LM Studio, Ollama, Open WebUI und Ihren Dokumenten, ganz ohne Cloud.
Kostenloses Memo
Memo erhalten VRAM → bestes Code-Modell → Ollama-Befehl (alles auf einem Bildschirm, zum Kopieren und Einfügen). Und wechseln Sie zum Kit Copilote Local, um daraus ein wirklich funktionierendes Setup zu machen.
Das Kit „Copilote Local“ — die Ollama- + Cline- + Aider-Configs zum direkten Einfügen, angepasste Modelfiles, Hilfe bei Problemen, lebenslanger Zugang zum Onlinebereich →Kein Spam. Abmeldung mit 1 Klick. Ihre Daten bleiben bei uns (werden nie weiterverkauft).
Ihre Karte → das beste Code-Modell für die lokale Ausführung und der exakte Ollama-Befehl:
| Ihr VRAM | Typische GPUs / Macs | Empfohlenes Code-Modell | Ollama-Befehl |
|---|---|---|---|
| 8 GB | RTX 4060 / 3060 · M1-M2 16 GB | Qwen 3.5 9B (Q4, 6,6 GB — 256k ctx) | ollama run qwen3.5:9b |
| 12 GB | RTX 3060 12 GB / 4070 / 5070 | Qwen 3.5 9B (Q8, 11 GB) oder Gemma 4 12B (7,6 GB) | ollama run qwen3.5:9b-q8_0 |
| 16 GB | RTX 5070 Ti / 4080 / 5080 · RX 9070 XT · M4 24 GB | Devstral 24B (Q4, 14 GB) — Code-Agent-Spezialist | ollama run devstral:24b |
| 24 GB | RTX 3090 / 4090 · RX 7900 XTX · M4 Pro 48 GB | Qwen 3.8 27B (Q4, 18 GB) — „nahe an Copilot“ | ollama run qwen3.8:27b |
| 32 GB | RTX 5090 | Qwen 3.6 35B-A3B (Q4, 23 GB) — schnelles MoE | ollama run qwen3.6:35b |
| 48 GB+ | Mac M4 Max 64 GB · M2 Ultra 128 GB | Qwen3-Coder 30B-A3B (Q8, 32 GB — 256k ctx) | ollama run qwen3-coder:30b-a3b-q8_0 |
-base : ollama run qwen2.5-coder:7b-base — das ist in diesem speziellen Fall immer noch der Referenzstandard. ⚠️ Qwen 3.8: sein Reasoning ist standardmäßig sehr hoch eingestellt, und es „denkt“ bei einfachen Anfragen zu viel nach — stellen Sie es auf low (oder schalten Sie es ab) beim ersten Start. ⚠️ Lizenzfalle: Codestral 22B = Mistral Non-Production License → zum Programmieren bei der Arbeit verboten. Qwen 3.5/3.8, Gemma 4 und Devstral sind unter Apache 2.0 lizenziert. 💡 Abstürze wegen Speicherproblemen? Halten Sie ca. 1,5 GB VRAM für den Kontext frei oder gehen Sie eine Quantisierungsstufe herunter.🔌 Zum Einbinden in VS Code: Cline (Agent für mehrere Dateien), Aider (CLI) oder Tabby/Twinny (FIM-Autovervollständigung) — alle verbinden sich lokal mit Ollama. Das Kit Lokaler Copilot — Configs zum Einfügen + getestetes Setup — ist verfügbar: /copilote-local.
Filter: Q4_K_M ≤ 11 GB. Bonus 7-14B. 384 GB/s + ROCm 6.
Berücksichtigte Kriterien:
Die Bewertung ist vollständig transparent: konsultieren Sie unsere Methodik für Details zur Berechnung des VRAM-Bedarfs und der Tokens pro Sekunde.
RX 6700 XT im Vergleich zu RTX 3060 12 GB?
6700 XT = 384 GB/s gegenüber 3060 = 360 GB/s. Nahezu identisch. NVIDIA CUDA und AMD ROCm: unterschiedliche Ökosysteme. NVIDIA bleibt einfacher. Siehe RTX 3060 12GB.
Welcher LLM bietet den besten Kompromiss auf der 6700 XT?
Mistral 7B Q5 (~5,5 GB) mit 28 tok/s, Qwen 3 14B Q4 (~8 GB) mit 18 tok/s. Ordentlich für Chat und Code.
ROCm auf RDNA 2 im Jahr 2026?
Unterstützt, aber weniger priorisiert als RDNA 3/4. Bleibt stabil für Ollama/llama.cpp. Siehe guide.
Ist eine neue 7700 XT die bessere Wahl?
7700 XT = ebenso 12 GB + 432 GB/s + RDNA 3. Moderner, neu etwa 400 €. Siehe RX 7700 XT.