Einsteiger 10 Min.Konfiguration

LLMs lokal ohne GPU (CPU): Modelle nach RAM 8/16/32 GB

LLM lokal ohne GPU (CPU): Modelle für 8/16/32 GB RAM

Ein lokales LLM ohne GPU, allein auf der CPU, zu betreiben, ist 2026 durchaus möglich. Mit einem Ryzen 7 oder einem aktuellen i7 und 16 GB RAM können Sie mit einem 3B-Modell nahezu in Echtzeit chatten oder ein 7B-Modell für weniger dringende Antworten laufen lassen. Dieser Leitfaden zeigt Ihnen, welche Modelle Sie je nach verfügbarem RAM wählen sollten, liefert reale Messwerte auf gängigen Rechnern und erläutert die Einstellungen, die wirklich etwas bewirken.

Wählen Sie einen Rechner? Unsere Empfehlungen nach Budget →

Von Mohamed Meguedmi·Aktualisierung 2026-10-14·Unter Windows, macOS und Linux getestet

#Warum ein LLM lokal ohne GPU ausführen?

Alle Leitfäden zu lokaler KI gehen davon aus, dass Sie eine RTX 4070 in Ihrem Tower-PC haben. Tatsächlich arbeitet die große Mehrheit der Laptops, beruflich genutzten Desktop-PCs und Mini-PCs mit integrierter GPU oder ganz ohne dedizierte Grafikkarte. Die gute Nachricht: Ein LLM lässt sich auch ausschließlich auf der CPU betreiben.

Drei typische Gründe für einen reinen CPU-Betrieb: ein Laptop ohne NVIDIA-GPU (die meisten Dell- und Lenovo-Laptops sowie ältere Intel-Macs), ein beruflich genutzter Desktop-PC mit einer Intel- oder AMD-iGPU oder ein Linux-Server ohne Bildschirm, den man nicht mit einer GPU ausstatten möchte. In allen drei Fällen geht es nicht um die Frage „Funktioniert das?“, sondern um „Welches Modell bleibt brauchbar?“.

i
Der eigentliche begrenzende Faktor: der Arbeitsspeicher, nicht die CPU
Bei reinem CPU-Betrieb begrenzt die Speicherbandbreite die Tokens pro Sekunde, nicht die reine Rechenleistung des Prozessors. Ein neuerer Ryzen 7 und ein neuerer i5 liefern mit demselben Modell oft sehr ähnliche Ergebnisse.

#Was Sie in der Praxis erwarten können

Das komplette Kit, um deinen eigenen KI-Assistenten zu erstellen.

Profitiere von unserer Erfahrung und einem geführten Lernpfad, um deinen lokalen Assistenten zu erstellen und deine KI im Alltag zu nutzen.

  • Lebenslanger Online-Zugang
  • PDF + Dateien
  • Erstattung binnen 30 Tagen

Bevor Sie etwas herunterladen, passen Sie Ihre Erwartungen an. Ein lokales LLM, das ohne GPU auf der CPU läuft, reagiert nicht so schnell wie ChatGPT oder ein Modell auf einer RTX 4090. Hier sind realistische Größenordnungen für 2026:

1B–2B-Q4-Modell
20 bis 40 Tokens pro Sekunde auf einer modernen CPU. Sehr flüssig, fast wie ein Online-Chat. Perfekt für einfache Aufgaben: Umformulierung, kurze Zusammenfassung, Klassifikation.
3B-Modell Q4
10 bis 20 Tokens pro Sekunde. Weiterhin angenehm: Man liest mit, während das Modell schreibt. Der optimale Bereich für den täglichen Einsatz auf der CPU.
7B–8B-Modell Q4
4 bis 10 Tokens pro Sekunde. Nutzbar, aber mit Wartezeiten. Gut für asynchrone Aufgaben (einen Text analysieren, einen Entwurf erstellen).
13B–14B-Q4-Modell
2 bis 5 Tokens pro Sekunde. Gerade noch erträglich. Verwenden Sie das Modell nur für Batch-Aufgaben, nicht für interaktive Chats.
Jenseits von 14B
Möglich, aber mühsam. Es ist besser, für eine Stunde eine Cloud-GPU zu mieten, als ein 32B-Modell auf der CPU laufen zu lassen.
→
Faustregel
Unter 5 Tokens pro Sekunde wird der interaktive Chat frustrierend. Über 15 Tokens pro Sekunde lesen Sie so schnell, wie das Modell schreibt. Streben Sie diesen zweiten Bereich an.

#Empfohlene Modelle nach verfügbarem RAM

Beim Betrieb auf der CPU kann der gesamte System-RAM für das Modell genutzt werden, doch Sie müssen ausreichend Speicher für das Betriebssystem und Ihre Anwendungen freihalten. Planen Sie 4 bis 6 GB für das System ein. Der verbleibende Speicher bestimmt, wie groß das Modell sein kann.

#8 GB RAM: 2B- bis 4B-Modelle

Qwen 3.5 2B Q4_K_M
≈1,9 GB. Extrem schnell, multimodal, bis zu 256k Kontext und Apache-2.0-Lizenz. Gut zum Umformulieren, Übersetzen und Klassifizieren.
Granite 4.2 3B Q4_K_M
≈2,2 GB. Sehr sparsam und token-effizient, von IBM, unter der Apache-2.0-Lizenz. Spricht gutes Französisch.
Qwen 3.5 4B Q4_K_M
≈3,4 GB. Das neue kleine Standardmodell. Solide beim Programmieren und auf Französisch.
Gemma 4 E2B Q4 (QAT)
≈4,3 GB. Kompakt und multimodal, von Google, 2026 auf die Apache-2.0-Lizenz umgestellt.

#16 GB RAM: 8B–12B komfortabel

Granite 4.2 8B Q4_K_M
≈5,3 GB. Sehr token-effizient, 128k Kontext, Apache-2.0-Lizenz. Schnell zu laden.
Qwen 3.5 9B Q4_K_M
≈6,6 GB. DIE Wahl für 8 GB im Jahr 2026: 256k Kontext, Bildverarbeitung, hervorragend beim logischen Schlussfolgern und auf Französisch.
Gemma 4 12B Q4_K_M
≈7,6 GB. Multimodal und effizient, Apache-2.0-Lizenz. Eine Stufe darüber, wenn Ihr RAM ausreicht.
Qwen 2.5 Coder 7B Basis Q4_K_M
≈4,7 GB. Die Ausnahme, die weiterhin aktuell ist: die Referenz 2026 für lokale Inline-Code-Autovervollständigung (FIM).

#32 GB RAM: Ein 24B-Modell kommt infrage

Mistral Small 24B Q4_K_M
≈14 GB. Vielseitig einsetzbar, sehr gut auf Französisch, aber auf der CPU nur 3 bis 5 Tokens pro Sekunde.
gpt-oss 20B Q4 (MXFP4)
≈14 GB. Open-Weight-Modell von OpenAI, dank des MXFP4-Formats sehr schnell, Kontextfenster von 131.000 Tokens.
Qwen 3.8 27B Q4_K_M (an der Grenze)
≈18 GB. 262k Kontext, Bildverarbeitung, Apache-2.0-Lizenz. Möglich, aber langsam, ca. 2 Tokens/s. Eher für die Stapelverarbeitung geeignet – denken Sie daran, das Reasoning auf low zu stellen, damit das Modell nicht übermäßig lange nachdenkt.
!
Aggressivere Quantisierung?
Q3_K_M spart gegenüber Q4_K_M etwa 20 % RAM, aber bei Modellen unter 7B sinkt die Qualität spürbar. Bleiben Sie bei einem 1B–3B-Modell mindestens bei Q4_K_M. Bei einem 13B-Modell auf 16 GB kann Q3 die Situation retten.

#1. Ollama installieren (automatischer CPU-Modus)

Ollama ist das einfachste Werkzeug für den Einstieg. Es erkennt automatisch, wenn keine GPU vorhanden ist, und wechselt ohne besondere Konfiguration zur CPU. Der Daemon lauscht standardmäßig auf http://localhost:11434.

Linux — offizielles Installationsskript
curl -fsSL https://ollama.com/install.sh | sh

Laden Sie unter Windows und macOS das Installationsprogramm von ollama.com herunter. Für den CPU-Modus sind keine speziellen Einstellungen nötig – Ollama trifft automatisch die richtige Wahl.

Prüfen, ob Ollama läuft
ollama --version
ollama ps

Der Befehl ollama ps muss den Status des Daemons anzeigen. Wenn eine Unterhaltung läuft, zeigt die Spalte PROCESSOR 100% CPU an — genau das wollen wir hier.

#2. Drei Modelle für den Vergleich im reinen CPU-Betrieb

Bei 16 GB RAM lautet die Frage nicht „welches Modell“, sondern „welches der drei führenden kleinen Modelle von 2026“. Laden Sie alle drei herunter und bilden Sie sich innerhalb einer Stunde Ihre eigene Meinung.

Die drei Herausforderer herunterladen
ollama pull qwen3.5:4b
ollama pull granite4.2:3b
ollama pull gemma4:e2b-it-qat
Qwen 3.5 4B
Das beste Allround-Modell dieser Größe. Sehr stark auf Französisch, gut beim Programmieren, 256k Kontext, befolgt Anweisungen zuverlässig. Das langsamste der drei (bedingt durch die 4B).
Granite 4.2 3B
Sehr sparsam und token-effizient, von IBM. Befolgt Anweisungen gut, Apache-2.0-Lizenz. Ein guter Kompromiss zwischen Geschwindigkeit und Qualität.
Gemma 4 E2B
Das schnellste der drei Modelle. Multimodal, mit erstaunlicher Qualität für seine Größe. Ideal, wenn Sie auf einer weniger leistungsstarken CPU nahezu in Echtzeit arbeiten möchten. Beim Programmieren schwächer als die beiden anderen.
Einen Benchmark für die Leistung in Gesprächen starten
ollama run gemma4:e2b-it-qat --verbose
>>> Explique en 3 phrases la différence entre une LLC et une SAS.

Die Option --verbose zeigt am Ende jeder Antwort die Statistiken an: prompt eval rate, eval rate (Tokens pro Sekunde bei der Generierung), total duration. Das ist Ihre Referenzmetrik auf diesem Rechner.

→
Wissenschaftlich vergleichen
Stellen Sie den drei Modellen exakt dieselbe Frage, in derselben Reihenfolge und bei einem Kaltstart (erster Start). Vergleichen Sie: Antwortqualität, angezeigte eval rate und Gesamtzeit. Welches Modell das „beste“ ist, hängt von Ihrem Anwendungsfall ab, nicht von einer absoluten Rangliste.

#3. Benchmarks in Tokens pro Sekunde: Größenordnungen

Die zuvor hier angegebenen Durchsätze waren weder von einem Protokoll noch von Rohdaten begleitet. Sie wurden entfernt. Um Ihre CPU zu vergleichen, verwenden Sie dasselbe Modell, dieselbe Quantisierung, denselben Kontext und denselben Prompt und unterscheiden Sie anschließend Laden, Prompt-Verarbeitung und Generierung. Die folgenden Profile sind Testempfehlungen, keine gemessenen Benchmarks.

#Intel Core i5-12400 + DDR4-3200 16 GB

Gemma 4 E2B Q4
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Granite 4.2 3B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Qwen 3.5 4B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Granite 4.2 8B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Qwen 3.5 9B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.

#Intel Core i7-13700K + DDR5-5600 32 GB

Gemma 4 E2B Q4
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Granite 4.2 3B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Qwen 3.5 4B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Qwen 3.5 9B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Mistral Small 24B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.

#AMD Ryzen 7 7700X + DDR5-6000 32 GB

Gemma 4 E2B Q4
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Granite 4.2 3B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Qwen 3.5 4B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Granite 4.2 8B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Qwen 3.5 9B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
Mistral Small 24B Q4_K_M
Der Durchsatz wurde in diesem Leitfaden nicht gemessen. Testen Sie dieses Modell auf dem angegebenen Gerät mit ollama run --verbose und notieren Sie Generierungsgeschwindigkeit, Kontext und verwendeten Speicher getrennt.
i
Einordnung dieser Zahlen
Ein kleineres Modell ist ein guter erster Versuch auf der CPU. Die flüssige Nutzung hängt auch von RAM, Kontext, Quantisierung und Prompt-Verarbeitung ab; allein der Name des Prozessors erlaubt keine verlässliche Angabe des Durchsatzes.

#4. llama.cpp mit AVX-512 kompilieren (für Fortgeschrittene)

Ollama enthält generische, vorkompilierte llama.cpp-Binaries. Wenn Sie llama.cpp manuell mit den Befehlssätzen Ihrer CPU (AVX2, AVX-512, AMX) kompilieren, können Sie auf manchen Prozessoren 10 bis 30 % mehr Tokens pro Sekunde erreichen. Nur für Intel-Core-Prozessoren ab der 11. Generation (Ice Lake / Rocket Lake / Sapphire Rapids), die AVX-512 unterstützen.

AVX-512-Unterstützung prüfen (Linux)
grep -o 'avx512[a-z_]*' /proc/cpuinfo | sort -u

Wenn der Befehl Zeilen ausgibt (avx512f, avx512dq usw.), unterstützt Ihre CPU AVX-512. Andernfalls bleiben Sie bei der Standardversion von Ollama; Sie hätten dadurch keinen Vorteil.

llama.cpp mit AVX-512 klonen und kompilieren
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build \
  -DGGML_NATIVE=ON \
  -DGGML_AVX512=ON \
  -DGGML_AVX512_VBMI=ON \
  -DGGML_AVX512_VNNI=ON
cmake --build build --config Release -j

Die Option -DGGML_NATIVE=ON lässt den Compiler automatisch die Befehlssätze Ihrer CPU erkennen und aktiviert alles, was verfügbar ist. Dies ist die einfachste und zuverlässigste Methode.

Mit einem GGUF-Modell testen
./build/bin/llama-bench -m qwen3.5-9b-Q4_K_M.gguf -t 8

Die Option -t legt die Anzahl der Threads fest (verwenden Sie die Anzahl der physischen, nicht der logischen Kerne). llama-bench gibt eine Tabelle mit pp512 (Prompt-Evaluierung) und tg128 (Generierung) in Tokens/s zurück — Ihre neue Referenz zum Vergleichen.

!
AVX-512 auf Intel-CPUs für den Verbrauchermarkt: Vorsicht
Bei Intel-Core-Prozessoren der 12. und 13. Generation (Alder Lake, Raptor Lake) ist AVX-512 seit einem Microcode-Update aus dem Jahr 2022 standardmäßig im BIOS deaktiviert. Auf diesen CPUs bringt Ihnen eine Kompilierung mit AVX-512 nichts — bleiben Sie bei AVX2.

#Tipps für mehr Tokens pro Sekunde auf der CPU

  1. 01
    Anzahl der Threads einstellen
    Verwenden Sie options.num_thread in einer Ollama-Anfrage. Vergleichen Sie mehrere Werte, statt anzunehmen, dass alle logischen Kerne das beste Ergebnis liefern. OLLAMA_NUM_THREADS ist keine vom aktuellen Server dokumentierte Umgebungsvariable.
  2. 02
    Das Modell geladen halten
    Das Laden des Modells dauert einige Sekunden. OLLAMA_KEEP_ALIVE=30m hält das Modell nach der letzten Anfrage 30 Minuten lang im RAM. Ohne GPU ist das noch wertvoller, weil das erneute Laden langsam ist.
  3. 03
    Den Kontext nach Möglichkeit reduzieren
    num_ctx 2048 statt 8192 spart RAM und beschleunigt die Verarbeitung spürbar. Behalten Sie einen großen Kontext nur für Anwendungsfälle bei, die ihn wirklich benötigen (RAG, lange Dokumente).
  4. 04
    Chrome und Slack schließen
    Schließen Sie Anwendungen, die viel RAM verbrauchen, und wiederholen Sie denselben Test. Dies hilft, eine Speichergrenze von einer Prozessorgrenze zu unterscheiden, ohne einen festen Leistungszuwachs zu versprechen.
  5. 05
    Den schnellsten kompatiblen DDR-Speicher wählen
    Die Speicherbandbreite kann die CPU-Inferenz begrenzen. Messen Sie Ihre Auslastung vor einem Kauf: Hier ist kein allgemeingültiger prozentualer Leistungszuwachs zwischen DDR-Generationen belegt.
Ollama-API: Test auf der CPU mit 8 Threads
curl http://localhost:11434/api/generate -H 'Content-Type: application/json' -d '{
  "model": "qwen3.5:4b",
  "prompt": "Explique en cinq phrases comment fonctionne un LLM local.",
  "stream": false,
  "options": {"num_gpu": 0, "num_thread": 8, "num_ctx": 2048}
}'
# Avec stream=false, débit de génération = eval_count / eval_duration * 1e9.
# eval_duration est exprimé en nanosecondes ; ne le confondez pas avec total_duration.

#Wenn die CPU nicht mehr ausreicht

Seien wir ehrlich: Ohne GPU bleiben bestimmte Anwendungen außer Reichweite. Wenn Sie Ihren Anwendungsfall in der folgenden Liste wiedererkennen, ist es Zeit, eine GPU in Betracht zu ziehen, auch eine bescheidene (eine gebrauchte RTX 3060 mit 12 GB für 250 € macht einen enormen Unterschied), oder Cloud-Ressourcen stundenweise zu mieten.

Interaktiver Chat mit einem 13B+-Modell
2 bis 5 Tokens pro Sekunde sind zu langsam für dialogorientierte KI. Eine GPU mit 12 GB löst das sofort.
RAG mit großem Kontext (16k+)
Die Verarbeitungszeit für die Prompt-Auswertung steigt auf der CPU enorm an. Eine RTX 3060 verarbeitet einen 8k-Prompt in 1 Sekunde, ein i7 benötigt 30 Sekunden.
Code-Autovervollständigung in Echtzeit
Erweiterungen für die Inline-Autovervollständigung (Tabby und Co., im FIM-Modus mit Qwen 2.5 Coder 7B base) benötigen Antworten in unter 200 ms. Auf einer CPU kommen Sie nicht unter 1 bis 2 Sekunden. Eine GPU ist zwingend erforderlich.
Generierung in großen Mengen
1000 Dokumente zu verarbeiten dauert auf der CPU Tage, auf der GPU Stunden. Für einen gelegentlichen Batch-Auftrag erledigen RunPod oder Vast.ai für 0,30 €/h die Arbeit über Nacht.

#Quellen und Überprüfung vom 14. Oktober 2026

Offizielle Dokumentation am 14. Oktober 2026 überprüft. Die Anforderungen können sich ändern: Konsultieren Sie diese Quellen vor einer Installation.

#Weiterführende Informationen

Sie haben nun ein lokales LLM, das auf der CPU läuft und antwortet. Je nach Ihrer nächsten Frage bieten sich folgende weiterführende Schritte an:

Die richtige Quantisierung wählen
Q4_K_M ist der sinnvolle Standard, aber je nach verfügbarem RAM haben auch Q5_K_M oder Q3 ihren Platz. Der Leitfaden zur Quantisierung erläutert die Kompromisse im Detail.
Das Ganze mit einer Benutzeroberfläche ausstatten
Das Terminal eignet sich gut zum Testen. Mit Open WebUI oder LM Studio erhalten Sie in wenigen Minuten eine lokale, ChatGPT-ähnliche Benutzeroberfläche.
Wann eine GPU hinzufügen?
Wenn Sie den Schritt wagen, vergleicht der Leitfaden zur GPU-Auswahl RTX 3060 mit 4060 und 4070, einschließlich der zugehörigen LLM-Benchmarks.

Empfohlene Hardware: Radeon RX 9070 XT 16 GB — um vom reinen CPU-Betrieb auf eine dedizierte GPU umzusteigen. Alle KI-Hardware →

Hat Ihnen dieser Guide geholfen?

Haben Sie Feedback, einen Fehler entdeckt oder möchten Sie etwas präzisieren? Geben Sie uns Bescheid – so wird der Guide für alle besser.