🇺🇸 OLMo 3 7B Think (SFT)
SFT-„thinking“-Variante von OLMo 3 7B: schrittweises Schlussfolgern, 16k Kontext, ca. 4,2 GB VRAM bei Q4. Zu 100 % offen, Apache-2.0-Lizenz.
# HuggingFace : zimplex/olmo3-7b-think-sft-eosfix-16k-3ep-euc
Ranking aktualisiert am 22.09.2026
Die RTX 2080 (8 GB GDDR6, 448 GB/s) ist für 7–9B-Modelle in Q4 weiterhin geeignet. Ordentliche Bandbreite, aber 8 GB setzen Grenzen. Solides Einstiegsmodell, gebraucht für etwa 150–200 €.
RTX 2080 : Kaufalternative für lokale KI verfügbar — RTX 5060 Ti 16 GB :
Welchen PC sollten Sie je nach Budget wählen? Unsere Auswahl von 800 bis 3 500 € →
Affiliate-Links — QuelLLM kann bei Käufen eine Provision erhalten, ohne dass Ihnen Mehrkosten entstehen. Dies beeinflusst die unabhängig erstellte Rangliste nicht. Als Amazon-Partner verdient QuelLLM an qualifizierten Käufen.
SFT-„thinking“-Variante von OLMo 3 7B: schrittweises Schlussfolgern, 16k Kontext, ca. 4,2 GB VRAM bei Q4. Zu 100 % offen, Apache-2.0-Lizenz.
# HuggingFace : zimplex/olmo3-7b-think-sft-eosfix-16k-3ep-euc
GLM 5.3 (Zhipu): Dichtes 7B-Modell, spezialisiert auf Code und Reasoning, 128k Kontext, ~4,1 GB VRAM bei Q4. Leicht, läuft auf GPUs mit 6-8 GB, MIT-Lizenz.
ollama pull glm-5.3
Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.
# HuggingFace : ibm-granite/granite-4.1-8b
Dichtes Modell mit 7B Parametern, zu 100 % offen (Gewichte + Daten + Code). Volle Transparenz für die Forschung.
ollama run olmo-3:7b
Granite 4.2 8B (IBM): Dichtes Modell unter Apache 2.0, 128k Kontext, ~4,6 GB VRAM bei Q4. Chat, Code und Reasoning in mehreren Sprachen für Unternehmen.
ollama pull granite4.2
LFM2.5 7B (Liquid AI): Denses Liquid Foundation Model, 32k Kontext, 4,1 GB VRAM bei Q4. Optimiert für CPU und Edge. Veröffentlichung im Mai 2026.
ollama pull lfm2.5
LFM2.5 DSpark (Liquid AI): Denses Liquid Foundation Model mit 7B, 32k Kontext, ~4,1 GB VRAM bei Q4. Vielseitiges Chat-Modell, optimiert für Edge/CPU.
# HuggingFace : LiquidAI/LFM2.5-DSpark
| Rang | Modell | Params | VRAM Q4 | Kontext | Lizenz | auf RTX 2080 |
|---|---|---|---|---|---|---|
| #1 | OLMo 3 7B Think (SFT) | 7B | 4,2 GB | 16 000 | Apache 2.0 | 32 Tok/s · Q8 |
| #2 | GLM 5.3 7B | 7B | 4.1 GB | 128 000 | MIT | 32 Tok/s · Q8 |
| #3 | Granite 4.1 8B Instruct | 8B | 5 GB | 131 072 | Apache 2.0 | 12 tok/s · Q5_K_M |
| #4 | OLMo 3 7B | 7B | 5 GB | 8 192 | Apache 2.0 | 12 tok/s · Q5_K_M |
| #5 | Granite 4.2 8B | 8B | 4,6 GB | 128 000 | Apache 2.0 | 32 Tok/s · Q5_K_M |
| #6 | LFM2.5 7B | 7B | 4.1 GB | 32 768 | LFM Open License v1.0 | 32 Tok/s · Q8 |
| #7 | LFM2.5 DSpark | 7B | 4.1 GB | 32 768 | LFM Open License v1.0 | 32 Tok/s · Q8 |
Ihr privates, kostenloses ChatGPT auf Ihrem Rechner in einer Stunde – mit LM Studio, Ollama, Open WebUI und Ihren Dokumenten, ganz ohne Cloud.
Kostenloses Memo
Memo erhalten VRAM → bestes Code-Modell → Ollama-Befehl (alles auf einem Bildschirm, zum Kopieren und Einfügen). Und wechseln Sie zum Kit Copilote Local, um daraus ein wirklich funktionierendes Setup zu machen.
Das Kit „Copilote Local“ — die Ollama- + Cline- + Aider-Configs zum direkten Einfügen, angepasste Modelfiles, Hilfe bei Problemen, lebenslanger Zugang zum Onlinebereich →Kein Spam. Abmeldung mit 1 Klick. Ihre Daten bleiben bei uns (werden nie weiterverkauft).
Ihre Karte → das beste Code-Modell für die lokale Ausführung und der exakte Ollama-Befehl:
| Ihr VRAM | Typische GPUs / Macs | Empfohlenes Code-Modell | Ollama-Befehl |
|---|---|---|---|
| 8 GB | RTX 4060 / 3060 · M1-M2 16 GB | Qwen 3.5 9B (Q4, 6,6 GB — 256k ctx) | ollama run qwen3.5:9b |
| 12 GB | RTX 3060 12 GB / 4070 / 5070 | Qwen 3.5 9B (Q8, 11 GB) oder Gemma 4 12B (7,6 GB) | ollama run qwen3.5:9b-q8_0 |
| 16 GB | RTX 5070 Ti / 4080 / 5080 · RX 9070 XT · M4 24 GB | Devstral 24B (Q4, 14 GB) — Code-Agent-Spezialist | ollama run devstral:24b |
| 24 GB | RTX 3090 / 4090 · RX 7900 XTX · M4 Pro 48 GB | Qwen 3.8 27B (Q4, 18 GB) — „nahe an Copilot“ | ollama run qwen3.8:27b |
| 32 GB | RTX 5090 | Qwen 3.6 35B-A3B (Q4, 23 GB) — schnelles MoE | ollama run qwen3.6:35b |
| 48 GB+ | Mac M4 Max 64 GB · M2 Ultra 128 GB | Qwen3-Coder 30B-A3B (Q8, 32 GB — 256k ctx) | ollama run qwen3-coder:30b-a3b-q8_0 |
-base : ollama run qwen2.5-coder:7b-base — das ist in diesem speziellen Fall immer noch der Referenzstandard. ⚠️ Qwen 3.8: sein Reasoning ist standardmäßig sehr hoch eingestellt, und es „denkt“ bei einfachen Anfragen zu viel nach — stellen Sie es auf low (oder schalten Sie es ab) beim ersten Start. ⚠️ Lizenzfalle: Codestral 22B = Mistral Non-Production License → zum Programmieren bei der Arbeit verboten. Qwen 3.5/3.8, Gemma 4 und Devstral sind unter Apache 2.0 lizenziert. 💡 Abstürze wegen Speicherproblemen? Halten Sie ca. 1,5 GB VRAM für den Kontext frei oder gehen Sie eine Quantisierungsstufe herunter.🔌 Zum Einbinden in VS Code: Cline (Agent für mehrere Dateien), Aider (CLI) oder Tabby/Twinny (FIM-Autovervollständigung) — alle verbinden sich lokal mit Ollama. Das Kit Lokaler Copilot — Configs zum Einfügen + getestetes Setup — ist verfügbar: /copilote-local.
Filter: Q4_K_M ≤ 7 GB. Bonus 3-9B. 448 GB/s = gültige Eingabe.
Berücksichtigte Kriterien:
Die Bewertung ist vollständig transparent: konsultieren Sie unsere Methodik für Details zur Berechnung des VRAM-Bedarfs und der Tokens pro Sekunde.
RTX 2080 8 GB im Jahr 2026?
Noch für 7–9B in Q4 nutzbar. Mistral 7B Q4 (~4,5 GB) mit 28 Tok/s, Phi-4 Mini mit 45+ Tok/s. Für 13B+ mindestens 12 GB anstreben. Siehe guide.
2080 gegen 3060 12 GB?
Ähnliche Bandbreite (448 vs. 360 GB/s). 3060 12 GB = +4 GB VRAM = Modelle mit 13–14 Milliarden Parametern nutzbar. Die 3060 12 GB ist für LLMs die bessere Wahl. Siehe 3060 12GB.
Sollte man 2026 eine gebrauchte 2080 kaufen?
Nur wenn sie weniger als 150 € kostet. Andernfalls sollten Sie die 3060 12 GB (~200 €) bevorzugen, mit der sich 13–14B-Modelle in Q4 nutzen lassen. Siehe RTX 3060 12GB.
Welche Modelle liegen im Sweet Spot für die 2080?
Mistral 7B Q5 (~5,5 GB, 30 Tok/s), Qwen 3 8B Q4 (~5 GB, 27 Tok/s), Llama 3.2 3B Q4 (~2 GB, 60+ Tok/s).