llama.cpp: Was ist das und sollten Sie von Ollama wechseln? ?

llama.cpp (auch llamacpp oder llama cpp geschrieben) ist die in C und C++ geschriebene Engine, die GGUF-Modelle auf CPU und GPU ausführt; Ollama, LM Studio und KoboldCpp bauen darauf auf. Version 1.0.0, veröffentlicht am 13. November 2026, stabilisiert vor allem die API für Entwickler. Bei Ollama zu bleiben, ist weiterhin vernünftig; llama.cpp lohnt sich, wenn Sie Speicher, Kontext und KV-Cache selbst einstellen möchten.
llama.cpp (auch llamacpp oder llama cpp geschrieben) ist die in C und C++ geschriebene Engine, die GGUF-Modelle auf CPU und GPU ausführt; Ollama, LM Studio und KoboldCpp bauen darauf auf. Version 1.0.0, veröffentlicht am 13. November 2026, stabilisiert vor allem die API für Entwickler. Bei Ollama zu bleiben, ist weiterhin vernünftig; llama.cpp lohnt sich, wenn Sie Speicher, Kontext und KV-Cache selbst einstellen möchten.
#llama.cpp kurz erklärt
Das Projekt wurde im März 2023 von Georgi Gerganov gestartet, mit einem einfachen Ziel: das LLaMA-Modell von Meta auf einem MacBook auszuführen, ohne Python oder schwere Abhängigkeiten. Es steht unter der MIT-Lizenz. Das Repository, das inzwischen zur Organisation ggml-org gehört, hat am 13. November 2026 seine Version 1.0.0 veröffentlicht. Die offizielle Ankündigung spricht von mehr als 150 unterstützten Architekturvarianten, und das im August 2023 definierte Dateiformat GGUF ist zum De-facto-Standard für die Verteilung quantisierter Modelle geworden.
Zwei technische Entscheidungen erklären diesen Erfolg. Die erste ist die Quantisierung: llama.cpp kann mit auf 2 bis 8 Bit komprimierten Gewichten arbeiten, sodass ein Modell mit 8 Milliarden Parametern in 5 GB statt 16 GB passt. Die zweite ist die Aufteilung zwischen Prozessor und Grafikkarte: Wenn ein Modell nicht vollständig in den VRAM passt, bleibt ein Teil der Schichten im RAM, während der Rest auf die GPU verlagert wird. Das ist langsamer, als das Modell vollständig auf die GPU zu laden, funktioniert aber, und nur wenige Engines bieten diese Möglichkeit.
Sie werden es als llama.cpp, llama cpp, llamacpp oder sogar „lama.cpp“ geschrieben sehen: Es handelt sich um dasselbe Projekt. Wenn Sie nach „ollama cpp“ oder „llm.cpp“ gesucht haben, geht es tatsächlich um llama.cpp; Ollama ist eine andere Software, die unter anderem darauf aufbaut.
#llama.cpp 1.0.0: Was sich für Sie ändert
Profitiere von unserer Erfahrung und einem geführten Lernpfad, um deinen lokalen Assistenten zu erstellen und deine KI im Alltag zu nutzen.
- Lebenslanger Online-Zugang
- PDF + Dateien
- Erstattung binnen 30 Tagen
Am 13. November 2026 hat das Projekt die Version 1.0.0 von llama.cpp und der Bibliothek ggml veröffentlicht. Erklärtes Ziel ist es, Entwicklern eine stabile API zu bieten: Kompatibilitätsbrüche der C-API werden künftig gemäß semantischer Versionierung durch einen Wechsel der Hauptversion angekündigt. Für Nutzer, die einfach llama-server starten, ist die sichtbare Änderung daher weniger eine neue Oberfläche als ein übersichtlicherer Rahmen.
- Ein offizielles Installationsprogramm
- Das README bietet ein einzeiliges Skript (macOS, Linux, Windows), das den Befehl llama installiert, mit llama cli zum Chatten im Terminal und llama serve zum Starten des OpenAI-kompatiblen Servers. Es wählt selbst die passende Variante: Metal, CUDA, ROCm, Vulkan oder CPU. Homebrew, winget, conda-forge, MacPorts und Nix stehen weiterhin zur Verfügung.
- KV-Cache in FP8
- Die Optionen -ctk und -ctv akzeptieren jetzt f8_e4m3, zusätzlich zu f16, bf16, q8_0 und den 4- und 5-Bit-Formaten. Der Vorteil: weniger Speicherbedarf für den Cache bei langen Kontexten.
- Experten-Cache für MoE-Modelle
- Für Expertenmodelle (MoE) kommt ein Experten-Cache im Hostspeicher hinzu, wobei ein Teil der Berechnung der CPU überlassen wird, wenn sich der angeforderte Experte nicht im Cache befindet.
- Gehärteter Server
- Tools ohne Authentifizierung und private Adressen für Medien werden zu Optionen, die explizit aktiviert werden müssen (--allow-unauthenticated-tools, --media-allow-private-urls). Auch der CORS-Zugriff, der Schutz vor DNS-Rebinding und das Hugging-Face-Token wurden verschärft.
- Sprache und Audio
- Der Server fügt für sprachfähige Modelle einen OpenAI-kompatiblen Endpoint /v1/audio/speech hinzu sowie die Unterstützung für gestreamte Audioeingabe von Gemma 4.
- Überarbeitete Weboberfläche
- Neu organisierte Seitenleiste, gruppierte Chats, Eingabeeditor mit Markdown-Vorschau, für Smartphones angepasstes Layout.
- Was entfernt wurde
- Die veraltete öffentliche API, einschließlich der Option --defrag-thold. Falls eines Ihrer Skripte sie noch übergibt, entfernen Sie sie.
- llama-server: eine lokale OpenAI-API aufsetzen
- Ollama vs. llama.cpp: der vollständige Vergleich
- Offizielle Versionshinweise zu llama.cpp 1.0.0
- Ankündigung von llama.cpp 1.0 auf Hugging Face
#Was enthalten ist
- llama
- Der einzelne Befehl, den das offizielle Skript installiert: llama cli für den Chat im Terminal, llama serve für den OpenAI-kompatiblen Server. Die Binaries llama-cli und llama-server gibt es weiterhin, wenn man selbst kompiliert oder die Archive herunterlädt.
- llama-cli
- Chat über die Befehlszeile. Nützlich, um ein Modell oder eine Einstellung in wenigen Sekunden zu testen.
- llama-server
- Ein HTTP-Server mit OpenAI-kompatibler API und integrierter Weboberfläche, laut aktueller Dokumentation standardmäßig auf 127.0.0.1 und Port 9931. Das ist die Komponente, die die meisten fortgeschrittenen Nutzer dauerhaft laufen lassen.
- llama-bench
- Das Messwerkzeug. Es gibt die Lesegeschwindigkeit des Prompts und die Generierungsgeschwindigkeit getrennt an. So lassen sich zwei Einstellungen vergleichen, ohne sich etwas vorzumachen.
- llama-quantize
- Konvertiert eine GGUF-Datei mit voller Präzision in eine speichersparendere Quantisierung (Q4_K_M, Q5_K_M, Q8_0).
- llama-server: Eine lokale OpenAI-API Schritt für Schritt einrichten
- GGUF und Safetensors: Modellformate verstehen
- Offizielle Dokumentation des GGUF-Formats — Hugging Face
#Was die aufgesetzten Softwareschichten hinzufügen und verbergen
Ollama, LM Studio und KoboldCpp bieten das, was llama.cpp nicht bietet: einen Modellkatalog, Downloads mit einem einzigen Befehl, eine Benutzeroberfläche sowie automatisches Laden und Entladen. Im Gegenzug legen sie Standardwerte fest. Die folgende Tabelle vergleicht keine Leistungswerte, sondern zeigt, wer worüber entscheidet.
| Einstellung | llama.cpp pur | Ollama | LM Studio | KoboldCpp |
|---|---|---|---|---|
| Kontextgröße | Option -c, frei | Konservativer Standardwert, über eine Variable oder ein Modelfile änderbar | Schieberegler pro Modell | Startoption |
| Auswahl der Quantisierung | Jede GGUF-Datei | Katalog-Tag, standardmäßig Q4 | Zum Download angebotene Liste | Jede GGUF-Datei |
| Auf die GPU ausgelagerte Schichten | Option -ngl: eine Zahl, auto (Standard) oder all | Automatisch | Schieberegler | Startoption |
| Quantisierung des KV-Caches | Optionen -ctk und -ctv (standardmäßig f16) | Globale Umgebungsvariable | Erweiterte Einstellung | Startoption |
| API | llama-server, OpenAI-kompatibel (standardmäßig Port 9931) | Saubere API + OpenAI-Kompatibilität | OpenAI-kompatibler Server | Saubere API + OpenAI-Kompatibilität |
| Updates der Engine | Am selben Tag, bei jedem Commit | Mit Verzögerung | Mit Verzögerung | Mit Verzögerung |
Die letzte Zeile ist wichtiger, als es zunächst scheint. Wenn eine neue Modellarchitektur veröffentlicht wird, wird sie zuerst von llama.cpp unterstützt und erst einige Tage oder Wochen später von den darauf aufbauenden Anwendungen. Wenn Sie ein Modell in der Woche seiner Veröffentlichung testen möchten, ist dies oft der einzige Weg.
#Die vier Einstellungen, die alles verändern
- -ngl (n-gpu-layers)
- Die Anzahl der Modellschichten, die im VRAM abgelegt werden: eine Zahl, auto oder all. Der Standardwert ist auto. Wenn Sie einen Wert erzwingen und das Modell Ihren VRAM übersteigt, senken Sie ihn, bis das Laden gelingt: Jede auf der CPU verbleibende Schicht verlangsamt die Generierung, aber ein Modell, das langsam läuft, ist besser als eines, das gar nicht startet.
- -c (ctx-size)
- Das zugewiesene Kontextfenster. Standardmäßig wird der Wert aus dem Modell gelesen (0), und --fit kann ihn verkleinern, damit alles in den Speicher passt. Der KV-Cache wächst mit: Weisen Sie so viel zu, wie Sie benötigen, nicht das vom Modell angegebene Maximum.
- -fa (flash-attn)
- Flash Attention reduziert den Speicherbedarf und beschleunigt das Einlesen langer Prompts. Die Werte sind on, off oder auto; auto ist der Standardwert, daher muss in der Regel nichts ergänzt werden.
- --n-cpu-moe
- Hält bei MoE-Modellen die Experten der ersten N Schichten im RAM und belässt den Rest auf der GPU (-cmoe hält alle Experten auf der CPU). Dadurch lässt sich ein MoE betreiben, das größer ist als der VRAM.
- Flash Attention: in llama.cpp, Ollama und vLLM aktivieren
- KV-Cache quantisieren, um VRAM zu sparen
- Ein Modell mit Tensor-Split auf mehrere GPUs verteilen
- Offizielle Dokumentation zu llama-server (vollständige Liste der Optionen)
#Was sich geändert hat: --fit stellt -ngl für Sie ein
Lange Zeit war das manuelle Einstellen von -ngl der erste Reflex in jeder llama.cpp-Anleitung: 99 setzen, um alles auf die GPU zu schieben, und dann durch Ausprobieren heruntergehen, wenn das Laden fehlschlug. Dieser Schritt ist nicht mehr zwingend. Die standardmäßig aktivierte Option --fit passt nicht angegebene Parameter (darunter -ngl und die Kontextgröße) automatisch so an, dass das Modell in den verfügbaren Speicher passt. Sie hält pro Gerät eine Reserve von 1 024 MB (-fitt) und geht nicht unter 4 096 Tokens Kontext (-fitc); beide Werte sind anpassbar. Auf einer bescheidenen Karte erspart das das übliche Hin und Her zwischen einem fehlschlagenden Start und einem von Hand reduzierten -ngl.
#Welches Backend für Ihre Karte?
llama.cpp wird für ein bestimmtes Rechen-Backend kompiliert oder heruntergeladen. Die richtige Wahl hängt ausschließlich von Ihrer Hardware ab. Die Tabelle übernimmt die Familien aus unserer Datenbank mit 90 Konfigurationen. Mit dem offiziellen Installationsskript wird diese Wahl für Sie getroffen; die Binärdateien und Kompilierungsoptionen sind nur dann nötig, wenn Sie ein bestimmtes Backend erzwingen möchten.
| Ihre Hardware | Empfohlenes Backend | Hinweis |
|---|---|---|
| NVIDIA GTX 10 bis RTX 50, Desktop- und Laptop-Modelle | CUDA | Das Backend der Wahl für eine NVIDIA-Karte. |
| AMD Radeon RX 7000 und RX 9000 | ROCm (HIP) oder Vulkan | ROCm ist schneller, wenn es funktioniert. Vulkan lässt sich problemlos installieren, auch unter Windows. |
| AMD Radeon RX 6000 und ältere Modelle | Vulkan | Je nach Grafikkarte wird ROCm nur teilweise oder gar nicht unterstützt. |
| Apple M1 bis M5 | Metal | Standardmäßig in den macOS-Binaries aktiviert. Der gesamte vereinheitlichte Speicher ist nutzbar. |
| Integrierte Intel- oder AMD-GPU, Intel Arc | Vulkan oder SYCL | Tatsächlicher Leistungsgewinn gegenüber dem ausschließlichen CPU-Betrieb bei kleinen Modellen. |
| Keine GPU | CPU (AVX2, AVX-512, NEON) | Funktioniert überall. Wählen Sie Modelle mit höchstens 8 Milliarden Parametern. |
- llama.cpp mit CUDA kompilieren
- llama.cpp mit Metal auf dem Mac kompilieren
- llama.cpp mit Vulkan, das universelle Backend
#Unsere Messungen mit llama.cpp
llama.cpp ist die Referenz-Engine unseres Testaufbaus, gerade weil sie auf allen Plattformen identisch läuft. Hier sind die mit Llama 3.1 8B in Q4 gemessenen Generierungsgeschwindigkeiten: Kontext mit 2.048 Tokens, eine einzige Anfrage, Flash Attention aktiviert.
| Rechner | Speicher | Llama 3.1 8B Q4 |
|---|---|---|
| RTX 5090 | 32 GB | 172 Tok/s |
| RTX 4090 | 24 GB | 128 Tok/s |
| RTX 4070 | 12 GB | 76 Tok/s |
| Mac M3 Max | 64 GB vereinheitlichter Speicher | 64 Tok/s |
| RTX 3060 | 12 GB | 44 Tok/s |
| Ryzen 7 7700, nur CPU | System-RAM | 7,8 Tok/s |
Zwei Erkenntnisse. Erstens liegt der Unterschied zwischen einer RTX 3060 und einem Prozessor allein bei einem Faktor fünf bis sechs: Selbst eine Einsteigerkarte verändert das Nutzungserlebnis. Zweitens wären diese Werte in Ollama oder LM Studio auf denselben Rechnern praktisch identisch, da die Rechen-Engine dieselbe ist. Diese Messungen stammen vom April 2026, vor Version 1.0.0: Verstehen Sie sie als Größenordnung, nicht als Versprechen für die neueste Version.
#Bei Ollama bleiben oder zu llama.cpp wechseln
Sollten Sie Ollama wegen llama.cpp 1.0 aufgeben? Nein. Version 1.0.0 ist ein Meilenstein für die API-Stabilität, kein Bruch: Ollama setzt weiterhin unter anderem auf llama.cpp (die Versionshinweise erwähnen dessen Aktualisierung) und bietet, was llama.cpp nicht bietet, etwa den Katalog, die Desktop-App oder die Cloud-Modelle. Wechseln Sie zu llama.cpp, wenn einer der Fälle in der rechten Spalte auf Sie zutrifft; andernfalls laufen beide nebeneinander, ohne dass es standardmäßig zu Portkonflikten kommt (11434 für Ollama, 9931 für llama-server).
| Bleiben Sie bei Ollama oder LM Studio, wenn … | Wechseln Sie zu llama.cpp, wenn … |
|---|---|
| Sie möchten mit einem Modell sprechen, ohne Dokumentation zu lesen. | Ihr Modell passt nicht vollständig in den VRAM, und Sie möchten die Aufteilung zwischen GPU und CPU feinjustieren. |
| Sie wechseln häufig das Modell und schätzen den integrierten Katalog. | Sie möchten eine Architektur testen, die diese Woche veröffentlicht wurde. |
| Ihre Tools (Open WebUI, Editor-Erweiterungen) erwarten die API von Ollama. | Sie richten einen Server für den langfristigen Betrieb ein und möchten jede Option selbst kontrollieren, vom Kontext bis zum KV-Cache. |
| Sie nutzen die App von Ollama, deren Cloud-Modelle oder deren Integrationen. | Sie möchten eine bestimmte Version der Engine oder die neuesten, als Nightly-Build veröffentlichten Fixes. |
#In zehn Minuten starten
Zum Ausprobieren müssen Sie nichts kompilieren. Die offizielle README bietet ein einzeiliges Installationsskript, und für Windows, macOS und Linux werden vorkompilierte Binaries veröffentlicht. Auch Paketmanager erledigen das. Die folgenden Befehle installieren llama.cpp, laden dann ein kleines Modell von Hugging Face herunter und starten den Server, dessen Weboberfläche sich unter http://localhost:9931 öffnet.
Für ein leistungsfähigeres Modell funktioniert derselbe Mechanismus mit llama-server und dem GGUF-Repository Ihrer Wahl. Ohne die Option -ngl verteilt --fit die Layer für Sie; fügen Sie -c hinzu, um den Kontext festzulegen.
Verweisen Sie bei einer bereits heruntergeladenen GGUF-Datei mit der Option -m darauf. Das Kompilieren aus dem Quellcode lohnt sich erst, um ein bestimmtes Backend zu aktivieren oder die Entwicklung tagesaktuell zu verfolgen.
#Die häufigsten Ladefehler
Die meisten Probleme mit llama.cpp lassen sich auf drei Ursachen zurückführen: eine Überschreitung der verfügbaren Speicherkapazität, eine mit dem installierten Build inkompatible GGUF-Datei oder eine falsch geschriebene Option. Die in der Kommandozeile angezeigte Fehlermeldung zeigt fast immer, welche der drei Ursachen vorliegt – vorausgesetzt, Sie lesen sie bis zum Ende, statt sie zu schließen und das Programm erneut zu starten.
| Meldung oder Symptom | Wahrscheinliche Ursache | Zum Ausprobieren |
|---|---|---|
| cudaMalloc failed: out of memory | Das Modell überschreitet mit dem angeforderten Kontext den verfügbaren VRAM | -c reduzieren, --fit den Wert von -ngl anpassen lassen oder eine weniger speicherintensive Quantisierung wählen |
| unbekannte Modellarchitektur | Die GGUF-Datei verwendet eine neuere Architektur als die installierte Binärdatei | Auf die neueste veröffentlichte Version aktualisieren; neue Architekturen werden zuerst in llama.cpp unterstützt |
| Sehr langsame Generierung trotz einer aktuellen GPU | Nicht alle Schichten wurden auf die GPU übertragen, häufig mangels freien VRAMs | Die Ausgabe beim Laden prüfen (Zeile „offloaded“), andere Anwendungen schließen, die die Grafikkarte belegen |
| error: invalid argument | Eine umbenannte oder falsch geschriebene Option im Befehl | Mit der Ausgabe von llama-server --help vergleichen, die die aktuellen Kurz- und Langformen der Aliase auflistet |
| Ein Skript stürzt bei --defrag-thold ab | Die Option wurde mit Version 1.0.0 entfernt | Option aus dem Befehl entfernen |
| Verbindung auf Port 8080 abgelehnt | Der dokumentierte Standardport ist jetzt 9931 | http://localhost:9931 verwenden oder --port 8080 festlegen |
Die beim Serverstart angezeigte Ladezeile sollten Sie einmal vollständig lesen: Sie gibt die Anzahl der tatsächlich an die GPU übertragenen Schichten, die effektive Kontextgröße und den verwendeten KV-Cache-Typ an. Das geht oft schneller, als aufs Geratewohl Optionen hinzuzufügen, bis es funktioniert. Behalten Sie auch die installierte Version im Blick: llama.cpp veröffentlicht zusätzlich zu den v1.x-Versionen sehr häufig Nightly-Builds (nummeriert als bNNNN), und ein Fix für Ihre Karte oder Ihr Modell ist manchmal bereits erschienen, aber noch nicht im Homebrew- oder winget-Paket angekommen, das Sie in der Vorwoche installiert haben.
#FAQ
Ist llama.cpp schneller als Ollama?+
Muss man wissen, wie man kompiliert, um llama.cpp zu verwenden?+
Kann man llama.cpp ohne Grafikkarte verwenden?+
Was ist der Unterschied zwischen llama.cpp und vLLM?+
Und auf dem Mac: llama.cpp oder MLX?+
llamacpp, llama cpp, llama.cpp: Ist das dasselbe?+
Was bringt llama.cpp 1.0?+
Sollte man Ollama zugunsten von llama.cpp aufgeben?+
#Quellen und Überprüfung vom 16. November 2026
Die Befehle, Standardwerte und Neuerungen der Version 1.0.0 wurden am 16. November 2026 anhand der offiziellen Versionshinweise, der README des Repositorys, der Dokumentation von llama-server und der vom Projektteam veröffentlichten Ankündigung überprüft.
- Versionshinweise llama.cpp v1.0.0 (13. November 2026)
- Ankündigung von llama.cpp 1.0 — Hugging Face
- Offizielle README des llama.cpp-Repositorys
- Dokumentation von llama-server (Optionen und API)
- Eine vorkompilierte Version von llama.cpp installieren
- llama.cpp kompilieren: offizielle Anleitung
- Offizielle Dokumentation des GGUF-Formats — Hugging Face
Haben Sie Feedback, einen Fehler entdeckt oder möchten Sie etwas präzisieren? Geben Sie uns Bescheid – so wird der Guide für alle besser.