llama.cpp: Was ist das und sollten Sie von Ollama wechseln? ?

#llama.cpp kurz gesagt

Das Projekt wurde im März 2023 von Georgi Gerganov mit einem einfachen Ziel gestartet: Metas LLaMA-Modell auf einem MacBook ohne Python und ohne umfangreiche Abhängigkeiten auszuführen. Es wird unter der MIT-Lizenz veröffentlicht. Drei Jahre später unterstützt das Repository, das inzwischen zur Organisation ggml-org gehört, Hunderte von Architekturen. Das im August 2023 vom Projekt definierte Dateiformat GGUF ist zum De-facto-Standard für die Verteilung quantifizierter Modelle geworden.

Zwei technische Entscheidungen erklären diesen Erfolg. Die erste ist die Quantisierung: llama.cpp kann mit auf 2 bis 8 Bit komprimierten Gewichten arbeiten, sodass ein Modell mit 8 Milliarden Parametern in 5 GB statt 16 GB passt. Die zweite ist die Aufteilung zwischen Prozessor und Grafikkarte: Wenn ein Modell nicht vollständig in den VRAM passt, bleibt ein Teil der Schichten im RAM, während der Rest auf die GPU verlagert wird. Das ist langsamer, als das Modell vollständig auf die GPU zu laden, funktioniert aber, und nur wenige Engines bieten diese Möglichkeit.

#Was enthalten ist

llama-cli

Chat über die Befehlszeile. Nützlich, um ein Modell oder eine Einstellung in wenigen Sekunden zu testen.

llama-server

Ein HTTP-Server mit einer OpenAI-kompatiblen API und einer integrierten Weboberfläche auf Port 8080. Das ist die Komponente, die die meisten fortgeschrittenen Nutzer dauerhaft laufen lassen.

llama-bench

Das Messwerkzeug. Es gibt die Lesegeschwindigkeit des Prompts und die Generierungsgeschwindigkeit getrennt an. So lassen sich zwei Einstellungen vergleichen, ohne sich etwas vorzumachen.

llama-quantize

Konvertiert eine GGUF-Datei mit voller Präzision in eine speichersparendere Quantisierung (Q4_K_M, Q5_K_M, Q8_0).

• llama-server: Schritt für Schritt die lokale OpenAI-API einrichten
• GGUF und safetensors: Die Modelldateiformate verstehen
• Offizielle Dokumentation zum GGUF-Format — Hugging Face

#Was die aufgesetzten Softwareschichten hinzufügen und verbergen

Ollama, LM Studio und KoboldCpp bieten das, was llama.cpp nicht bietet: einen Modellkatalog, Downloads mit einem einzigen Befehl, eine Benutzeroberfläche sowie automatisches Laden und Entladen. Im Gegenzug legen sie Standardwerte fest. Die folgende Tabelle vergleicht keine Leistungswerte, sondern zeigt, wer worüber entscheidet.

Die letzte Zeile ist wichtiger, als es zunächst scheint. Wenn eine neue Modellarchitektur veröffentlicht wird, wird sie zuerst von llama.cpp unterstützt und erst einige Tage oder Wochen später von den darauf aufbauenden Anwendungen. Wenn Sie ein Modell in der Woche seiner Veröffentlichung testen möchten, ist dies oft der einzige Weg.

#Die vier Einstellungen, die alles verändern

-ngl (n-gpu-layers)

Die Anzahl der Modellschichten, die im VRAM abgelegt werden. Der Wert 99 bedeutet „alles, was hineinpasst“. Wenn das Modell mehr Speicher benötigt, als Ihr VRAM bietet, verringern Sie diese Zahl, bis das Laden gelingt: Jede auf der CPU verbleibende Schicht verlangsamt die Generierung, aber ein Modell, das mit 8 Tokens pro Sekunde läuft, ist besser als ein Modell, das nicht startet.

-c (ctx-size)

Das zugewiesene Kontextfenster. Der KV-Cache wächst mit ihm: Bei einem Modell mit 8 Milliarden Parametern benötigt der Wechsel von 8.000 auf 32.000 Tokens mehrere GB zusätzlichen VRAM. Weisen Sie nur so viel zu, wie Sie benötigen, statt das vom Modell angegebene Maximum auszuschöpfen.

-fa (flash-attn)

Aktiviert Flash Attention, das den Speicherbedarf reduziert und die Verarbeitung langer Prompts beschleunigt. Dies ist auch eine Voraussetzung für die Quantisierung des KV-Caches.

--n-cpu-moe

Bei MoE-Modellen werden die Experten einer bestimmten Anzahl von Schichten im RAM gehalten, während der Rest auf der GPU bleibt. Dadurch lässt sich ein MoE-Modell mit 30 oder 120 Milliarden Parametern auf einer Grafikkarte mit 16 GB Speicher mit brauchbarer Geschwindigkeit betreiben.

• Flash Attention: Aktivieren in llama.cpp, Ollama und vLLM
• KV-Cache quantisieren, um VRAM zu sparen
• Ein Modell auf mehrere GPU mit tensor-split verteilen
• Offizielle Dokumentation von llama-server (vollständige Liste der Optionen)

#Was sich geändert hat: --fit stellt -ngl für Sie ein

Lange war das manuelle Einstellen von -ngl der erste Reflex in jedem llama.cpp-Leitfaden: den Wert auf 99 setzen, um alles auf die GPU zu verlagern, und ihn dann durch Ausprobieren wieder senken, falls das Laden scheiterte. Dieser Schritt ist inzwischen nicht mehr zwingend nötig. Das Projekt hat die standardmäßig aktivierte Option --fit hinzugefügt, die nicht ausdrücklich angegebene Parameter (darunter -ngl) automatisch so anpasst, dass das Modell in den verfügbaren Speicher passt. Bei einer kleineren Grafikkarte erspart das den üblichen Wechsel zwischen einem fehlgeschlagenen Start und einem manuell reduzierten -ngl-Wert.

#Welches Backend für Ihre Karte?

llama.cpp wird für ein bestimmtes Rechenbackend kompiliert oder heruntergeladen. Die richtige Wahl hängt ausschließlich von Ihrer Hardware ab. Die Tabelle zeigt die Hardwarefamilien aus unserer Datenbank mit 90 Konfigurationen.

• llama.cpp mit CUDA kompilieren
• llama.cpp mit Metal auf dem Mac kompilieren
• llama.cpp mit Vulkan, das universelle Backend

#Unsere Messungen mit llama.cpp

llama.cpp ist die Referenz-Engine unseres Testaufbaus, gerade weil sie auf allen Plattformen identisch läuft. Hier sind die mit Llama 3.1 8B in Q4 gemessenen Generierungsgeschwindigkeiten: Kontext mit 2.048 Tokens, eine einzige Anfrage, Flash Attention aktiviert.

Daraus lassen sich zwei Schlüsse ziehen. Erstens beträgt der Leistungsunterschied zwischen einer RTX 3060 und einem Prozessor allein einen Faktor von fünf bis sechs: Selbst eine Einsteiger-Grafikkarte verändert das Nutzungserlebnis. Zweitens wären diese Zahlen in Ollama oder LM Studio auf denselben Rechnern praktisch gleich, da die zugrunde liegende Rechen-Engine dieselbe ist.

• Alle unsere Messungen: sechs Rechner, sechs Modelle
• Unsere Messmethode

#Bei Ollama bleiben oder zu llama.cpp wechseln

• Ollama im Vergleich zu llama.cpp: der vollständige Vergleich
• Auf dem Mac: MLX oder llama.cpp?

#In zehn Minuten starten

Zum Ausprobieren müssen Sie nichts kompilieren. Für Windows, macOS und Linux werden mit jeder Version vorkompilierte Binärdateien veröffentlicht, und die Paketmanager erledigen den Rest. Der folgende Befehl lädt ein kleines Modell von Hugging Face herunter und öffnet die Weboberfläche unter http://localhost:8080.

# macOS et Linux (Homebrew)
brew install llama.cpp

# Windows
winget install llama.cpp

# Télécharger un modèle et ouvrir l'interface web
llama-server -hf ggml-org/gemma-3-4b-it-GGUF -ngl 99 -c 8192

Für ein anspruchsvolleres Modell aus dem Katalog laden Sie die GGUF-Datei Ihrer Wahl herunter und geben mit der Option -m den Pfad zu ihr an. Das Kompilieren aus dem Quellcode ist nur dann sinnvoll, wenn Sie ein bestimmtes Backend aktivieren oder die Entwicklung tagesaktuell verfolgen möchten.

• Das offizielle Repository von llama.cpp auf GitHub
• Ein Modell aus dem QuelLLM-Katalog auswählen

#Die häufigsten Ladefehler

Die meisten Probleme mit llama.cpp lassen sich auf drei Ursachen zurückführen: eine Überschreitung der verfügbaren Speicherkapazität, eine mit dem installierten Build inkompatible GGUF-Datei oder eine falsch geschriebene Option. Die in der Kommandozeile angezeigte Fehlermeldung zeigt fast immer, welche der drei Ursachen vorliegt – vorausgesetzt, Sie lesen sie bis zum Ende, statt sie zu schließen und das Programm erneut zu starten.

Es lohnt sich, die beim Serverstart angezeigte Ladezeile einmal vollständig zu lesen: Sie nennt die Anzahl der tatsächlich auf die GPU ausgelagerten Schichten, die effektive Kontextgröße und den verwendeten KV-Cache-Typ. Das geht oft schneller, als wahllos Optionen hinzuzufügen, bis es funktioniert. Behalten Sie auch die installierte Version im Blick: llama.cpp veröffentlicht sehr häufig Nightly-Versionen, und ein Fix für Ihre Karte oder Ihr Modell ist manchmal schon erschienen, aber noch nicht in dem Homebrew- oder winget-Paket enthalten, das Sie in der Vorwoche installiert haben.

#FAQ