Rangliste aktualisiert am 09/10/2026
Der Mac mini M2 / M2 Pro (8–32 GB, 100–200 GB/s) bleibt ein hervorragender, leiser Inferenzserver für 7–13B in Q4_K_M. Belüftet, kompakt, bereit 24/7.
Vergleichen Sie die Preise für Mac mini M5 Pro (24 GB / 512 GB) bei unseren Partnerhändlern (verifizierte Produktseiten):
Warum diese Wahl? Unser umfassender Bericht zum Mac mini M5 Pro (24 GB / 512 GB) →
Welchen PC sollten Sie je nach Budget wählen? Unsere Auswahl von 800 bis 3 500 € →
Affiliate-Links — WelchesLLM kann eine Provision aus Käufen erhalten, ohne Mehrkosten für Sie; dies beeinflusst die unabhängig erstellte Rangliste nicht. Als Amazon-Partner erzielt WelchesLLM einen Gewinn aus qualifizierten Käufen.
Dense 8B Apache 2.0, 12 Sprachen inkl. FR, 131k ctx, GQA 32Q/8KV. MMLU 73.84, HumanEval 85.37. Veröffentlichung 29. April 2026.
# HuggingFace : ibm-granite/granite-4.1-8b
Granite 4.2 8B (IBM): Dichtes Modell unter Apache 2.0, 128k Kontext, ~4,6 GB VRAM bei Q4. Chat, Code und Reasoning in mehreren Sprachen für Unternehmen.
ollama pull granite4.2
SFT-„thinking“-Variante von OLMo 3 7B: schrittweises Schlussfolgern, 16k Kontext, ca. 4,2 GB VRAM bei Q4. Zu 100 % offen, Apache-2.0-Lizenz.
# HuggingFace : zimplex/olmo3-7b-think-sft-eosfix-16k-3ep-euc
GLM 5.3 (Zhipu): Dichtes 7B-Modell, spezialisiert auf Code und Reasoning, 128k Kontext, ~4,1 GB VRAM bei Q4. Leicht, läuft auf GPUs mit 6-8 GB, MIT-Lizenz.
ollama pull glm-5.3
Dichtes Modell mit 7B Parametern, zu 100 % offen (Gewichte + Daten + Code). Volle Transparenz für die Forschung.
ollama run olmo-3:7b
Hybrider Thinking/Fast-Modus. 119 Sprachen, 32k nativ (131k via YaRN).
ollama run qwen3:8b
Gemma 4 12B (Google): Dichtes multimodales Modell (Text, Vision, Audio), 256k Kontext, ~7 GB VRAM Q4. Apache 2.0, mehrsprachig.
# HuggingFace : google/gemma-4-12B
| Rang | Modell | Params | VRAM Q4 | Kontext | Lizenz | Auf Apple M2 (16 GB) |
|---|---|---|---|---|---|---|
| #1 | Granite 4.1 8B Instruct | 8B | 5 GB | 131 072 | Apache 2.0 | 12 Tok/s · Q8 |
| #2 | Granite 4.2 8B | 8B | 4,6 GB | 128 000 | Apache 2.0 | 32 Tok/s · Q8 |
| #3 | OLMo 3 7B Think (SFT) | 7B | 4,2 GB | 16 000 | Apache 2.0 | 32 Tok/s · Q8 |
| #4 | GLM 5.3 7B | 7B | 4.1 GB | 128 000 | MIT | 32 Tok/s · Q8 |
| #5 | OLMo 3 7B | 7B | 5 GB | 8 192 | Apache 2.0 | 12 Tok/s · Q8 |
| #6 | Qwen 3 8B | 8B | 5 GB | 131 072 | Apache 2.0 | 12 Tok/s · Q8 |
| #7 | Gemma 4 12B | 12B | 7 GB | 262 144 | Apache 2.0 | 18 tok/s · Q5_K_M |
Lokale KI auf Ihrem Mac voll ausschöpfen: Unified Memory, MLX vs. GGUF, das passende Modell für Ihren Chip und auf Apple Silicon abgestimmte Einstellungen für Ollama und LM Studio.
Kostenloses Memo
Memo erhalten VRAM → bestes Code-Modell → Ollama-Befehl (alles auf einem Bildschirm, zum Kopieren und Einfügen). Und wechseln Sie zum Kit Copilote Local, um daraus ein wirklich funktionierendes Setup zu machen.
Das Kit „Copilote Local“ — die Ollama- + Cline- + Aider-Configs zum direkten Einfügen, angepasste Modelfiles, Hilfe bei Problemen, lebenslanger Zugang zum Onlinebereich →Kein Spam. Abmeldung mit 1 Klick. Ihre Daten bleiben bei uns (werden nie weiterverkauft).
Ihre Karte → das beste Code-Modell für die lokale Ausführung und der exakte Ollama-Befehl:
| Ihr VRAM | Typische GPUs / Macs | Empfohlenes Code-Modell | Ollama-Befehl |
|---|---|---|---|
| 8 GB | RTX 4060 / 3060 · M1-M2 16 GB | Qwen 3.5 9B (Q4, 6,6 GB — 256k ctx) | ollama run qwen3.5:9b |
| 12 GB | RTX 3060 12 GB / 4070 / 5070 | Qwen 3.5 9B (Q8, 11 GB) oder Gemma 4 12B (7,6 GB) | ollama run qwen3.5:9b-q8_0 |
| 16 GB | RTX 5070 Ti / 4080 / 5080 · RX 9070 XT · M4 24 GB | Devstral 24B (Q4, 14 GB) — Code-Agent-Spezialist | ollama run devstral:24b |
| 24 GB | RTX 3090 / 4090 · RX 7900 XTX · M4 Pro 48 GB | Qwen 3.8 27B (Q4, 18 GB) — „nahe an Copilot“ | ollama run qwen3.8:27b |
| 32 GB | RTX 5090 | Qwen 3.6 35B-A3B (Q4, 23 GB) — schnelles MoE | ollama run qwen3.6:35b |
| 48 GB+ | Mac M4 Max 64 GB · M2 Ultra 128 GB | Qwen3-Coder 30B-A3B (Q8, 32 GB — 256k ctx) | ollama run qwen3-coder:30b-a3b-q8_0 |
-base : ollama run qwen2.5-coder:7b-base — das ist in diesem speziellen Fall immer noch der Referenzstandard. ⚠️ Qwen 3.8: sein Reasoning ist standardmäßig sehr hoch eingestellt, und es „denkt“ bei einfachen Anfragen zu viel nach — stellen Sie es auf low (oder schalten Sie es ab) beim ersten Start. ⚠️ Lizenzfalle: Codestral 22B = Mistral Non-Production License → zum Programmieren bei der Arbeit verboten. Qwen 3.5/3.8, Gemma 4 und Devstral sind unter Apache 2.0 lizenziert. 💡 Abstürze wegen Speicherproblemen? Halten Sie ca. 1,5 GB VRAM für den Kontext frei oder gehen Sie eine Quantisierungsstufe herunter.🔌 Zum Einbinden in VS Code: Cline (Agent für mehrere Dateien), Aider (CLI) oder Tabby/Twinny (FIM-Autovervollständigung) — alle verbinden sich lokal mit Ollama. Das Kit Lokaler Copilot — Configs zum Einfügen + getestetes Setup — ist verfügbar: /copilote-local.
Filter: Modelle mit 1–32B, deren Q4_K_M-Version weniger als 22 GB benötigt (M2 Pro: maximal 32 GB). Bonus für 7–13B (Leistungsoptimum des M2 Pro) und freie Lizenzen für gemeinsam genutzte Server.
Berücksichtigte Kriterien:
Die Bewertung ist vollständig transparent: konsultieren Sie unsere Methodik für Details zur Berechnung des VRAM-Bedarfs und der Tokens pro Sekunde.
Mac mini M2 8 GB: Relevant im Jahr 2026?
Phi-4 Mini 3,8B Q4 oder Llama 3.2 3B Q4 laufen – aber der Spielraum ist knapp. Wählen Sie nach Möglichkeit mindestens 16 GB. Siehe Leitfaden für Mac mini M2.
Mac mini M2 Pro 32 GB: Was ist der Sweet Spot?
Mistral Nemo 12B Q4 (~7 GB) oder Qwen 3 14B Q4 (~8 GB) – 22–28 Tok/s. Ein ausgezeichneter LLM-Server für zu Hause für 1–3 gleichzeitige Nutzer über die Ollama-API.
M2 Pro vs. M4 Pro für einen LLM-Server?
M4 Pro (273 GB/s) ist ~35-40 % schneller als M2 Pro (200 GB/s) bei den gleichen Modellen. Wenn man 2026 neu kauft, lohnt es sich, den M4 Pro zu wählen. Weitere Informationen in Mac mini M4.
Wie lässt sich ein Mac mini M2 als leiser Server konfigurieren?
Ollama + Open WebUI im LAN, Port 11434 hinter einem nginx-Reverse-Proxy. Automatischer Start über launchd. Im Leerlauf ~10 W, unter Last ~35 W. Leiser als ein ITX-PC.