llama.cpp mit Metal

#llama.cpp auf dem Mac: Was Metal bringt

Unter macOS wird die GPU über Metal, Apples Grafik- und Berechnungs-API, angesprochen, und llama.cpp nutzt diese direkt. Das README des Projekts betont, dass Apple Silicon erstklassig unterstützt und über ARM NEON, Accelerate und Metal optimiert wird. In der Praxis bedeutet das, dass bereits die Standardkompilierung eine Engine erzeugt, die die GPU nutzt, ohne dass zusätzliche Optionen nötig sind. Der vereinheitlichte Speicher vermeidet sämtliche Datenübertragungen zwischen Prozessor und GPU: Das Modell liegt nur einmal im Speicher. Die begrenzenden Faktoren auf einem Mac sind daher die Kapazität und die Bandbreite dieses Speichers.

#Voraussetzungen

Ein Mac mit Apple Silicon

M1 bis M5: Auf diese Modelle ist dieser Leitfaden ausgerichtet. Macs mit Intel-Prozessor profitieren davon kaum.

Die Kompilierungswerkzeuge von Apple

Installieren Sie die Command Line Tools mit xcode-select --install.

CMake und Git

Über Homebrew verfügbar: brew install cmake git.

Speicher für das Modell

Als Richtwert auf dieser Website gilt: Ein 8B-Modell in Q4 benötigt etwa 5 GB, ein 14B-Modell etwa 9 GB, ein 32B-Modell 19 bis 20 GB, jeweils ohne den Speicherbedarf für den Kontext.

xcode-select --install
brew install cmake git

#Installieren ohne Kompilierung: Homebrew

Wenn Sie keine besonderen Kompilierungsoptionen benötigen, ist Homebrew der schnellste Weg. Die Installationsdokumentation von llama.cpp gibt an, dass die Formel bei jeder neuen Version des Projekts automatisch aktualisiert wird. Sie erhalten dieselben ausführbaren Dateien, einsatzbereit und mit Metal-Unterstützung.

brew install llama.cpp

Kompilieren Sie selbst, wenn Sie die neueste Version des Repositorys haben, einen Branch testen oder eine Kompilierungsoption ändern möchten. Ansonsten reicht Homebrew aus: Sie sparen die Kompilierungszeit, und Updates erfolgen mit brew upgrade.

#1. Mit Metal kompilieren

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

cmake -B build
cmake --build build --config Release -j $(sysctl -n hw.ncpu)

Die Build-Dokumentation ist eindeutig: Unter macOS ist Metal standardmäßig aktiviert und lässt die Berechnungen auf der GPU ausführen. Es muss keine Option hinzugefügt werden. Der alte Repository-Name unter dem Konto von Georgi Gerganov leitet zur Organisation ggml-org weiter, wo sich das Projekt inzwischen befindet. Die Binärdateien liegen in build/bin, insbesondere llama-cli für das Terminal und llama-server für die API.

Zwei nützliche Optionen: Laut Dokumentation deaktiviert -DGGML_METAL=OFF Metal beim Kompilieren. Ein mit Metal kompiliertes Programm lässt sich mit --n-gpu-layers 0 zur Ausführung auf der CPU zwingen, was für Geschwindigkeitsvergleiche praktisch ist.

#2. Ein erstes Modell starten

Neuere Inferenz-Engines können das Modell selbst herunterladen. Die Option -hf nimmt den Namen eines Hugging-Face-Repositorys entgegen, mit der Quantisierung als Suffix; ohne Suffix wird standardmäßig Q4_K_M gewählt. Für eine bereits heruntergeladene Datei verwenden Sie -m mit ihrem Pfad.

./build/bin/llama-cli -hf UTILISATEUR/MODELE-GGUF:Q4_K_M

./build/bin/llama-cli -m ~/modeles/mon-modele-Q4_K_M.gguf

Die Anzahl der auf der GPU abgelegten Schichten lässt sich mit -ngl einstellen; der Standardwert ist auto, was für einen Mac mit gemeinsamem Arbeitsspeicher geeignet ist. Sie können auch -ngl all angeben, um alles zu laden. Suchen Sie nicht im Ollama-Ordner nach dem Pfad zu einem Modell: Die Modelldateien werden in einem internen Format gespeichert, das kein direkt verwendbares GGUF ist.

#Eine OpenAI-kompatible API mit llama-server bereitstellen

llama-server stellt Routen bereit, die mit der OpenAI-API für Chat, Antworten und Embeddings kompatibel sind. Standardmäßig lauscht er auf 127.0.0.1, Port 8080: Er ist nur von Ihrem Mac aus erreichbar. Um ihn über das Netzwerk zugänglich zu machen, müssen Sie --host ausdrücklich angeben und sollten dann den Zugriff schützen.

./build/bin/llama-server -m ~/modeles/mon-modele-Q4_K_M.gguf --port 8080

• llama.cpp: Was ist das, und sollten Sie von Ollama wechseln?
• Ollama vs llama.cpp: Welches wählen?

#4. Die GPU-Speicherbegrenzung von macOS

Auf Apple Silicon stellt macOS der GPU nur einen Teil des vereinheitlichten Speichers zur Verfügung. Ein Modell, das diesen Anteil überschreitet, wird abgelehnt oder teilweise auf den Prozessor ausgelagert, selbst wenn der Gesamtspeicher ausreicht. Die Engine zeigt den effektiven Wert beim Start an: Suchen Sie in den Protokollen von llama-cli oder llama-server nach der Zeile ggml_metal_init: recommendedMaxWorkingSetSize.

Mit dem Befehl sysctl iogpu.wired_limit_mb lässt sich diese Obergrenze erhöhen. Er erwartet einen Wert in Megabyte: beispielsweise 61.440 für 60 GB. Ein Mitwirkender am llama.cpp-Repository weist darauf hin, dass der Befehl bei jedem Systemstart erneut ausgeführt werden muss, da die Einstellung nicht dauerhaft gespeichert wird, und rät davon ab, bis auf 100 % zu gehen: Das System braucht Speicher für alles, was nicht durch die GPU gesperrt ist, und es kommt zu Problemen, wenn ihm nicht genug Speicher bleibt.

# 56 Go pour le GPU sur un Mac de 64 Go (56 x 1024 = 57344)
sudo sysctl iogpu.wired_limit_mb=57344

# Relancez ensuite le modèle et relisez recommendedMaxWorkingSetSize

#Welches Modell für welche Größe des vereinheitlichten Speichers

Der vereinheitlichte Speicher wird zwischen macOS, Ihren Anwendungen und dem Modell geteilt, und die GPU erhält davon nur einen Teil. Als Richtwert veranschlagt diese Website für die Gewichte eines 8B-Modells in Q4 etwa 5 GB, für ein 14B-Modell etwa 9 GB und für ein 32B-Modell etwa 19 bis 20 GB. Der Kontextcache kommt hinzu. Die Tabelle liefert eine vorsichtige Größenordnung; maßgeblich ist der vom Ausführungsbackend angezeigte Wert recommendedMaxWorkingSetSize.

Diese Größenordnungen sind vorsichtige Schätzungen, keine Messwerte: Ein langer Kontext, ein zweites Modell oder eine ressourcenhungrige Anwendung reichen aus, um die Situation zu verändern. Der Leitfaden zum Arbeitsspeicher erläutert die vollständige Berechnungsmethode.

• VRAM und Speicher: Wie viel benötigt man für die KI
• Welches LLM auf dem MacBook Pro M4?

#5. Die wichtigsten Einstellungen

Flash Attention ist standardmäßig im Automatikmodus: In den meisten Fällen müssen Sie es nicht manuell aktivieren. Der KV-Cache lässt sich mit -ctk und -ctv quantisieren, sofern Flash Attention aktiv ist; mit q8_0 wird der Speicherbedarf des Caches gegenüber f16 ungefähr halbiert. Das geht mit einem leichten Genauigkeitsverlust einher, dessen Auswirkungen Sie für Ihre Anwendungsfälle überprüfen sollten. Der eigene Leitfaden dazu erläutert diesen Kompromiss im Detail.

• KV-Cache quantisieren, um VRAM zu sparen
• Flash Attention in llama.cpp

#6. Leistungsdaten pro Chip: Was öffentliche Benchmarks messen

QuelLLM führt keine Messungen an diesen Geräten durch. Als Referenz dient die Diskussion „Performance of llama.cpp on Apple Silicon M-series“ im llama.cpp-Repository, in der alle Beitragenden denselben Test mit einem LLaMA 7B in Q4_0 ausführen. Die folgende Tabelle enthält einige Zeilen daraus sowie die jeweils verwendete Version von llama.cpp: Die Messungen für die Chips M1 bis M4 wurden mit derselben Version durchgeführt, die für die M5-Chips mit einer neueren.

Die theoretische Obergrenze ergibt sich aus der Bandbreite geteilt durch die Größe der Modellgewichte (3,56 GiB, also 3,82 GB). Die Pro-Chips erreichen 71 bis 82 % dieser Obergrenze, der Max-Chip nur 58 %: Ab einem bestimmten Niveau ist der Speicher nicht mehr der einzige Engpass, und für mehr Bandbreite zu bezahlen bringt weniger, als das Datenblatt vermuten lässt.

Drei Erkenntnisse. Die Generierung folgt der Speicherbandbreite: Der M3 Pro mit 150 GB/s ist langsamer als der M2 Pro mit 200 GB/s, trotz der neueren Chip-Generation. Die Max-Chips mit deutlich höherer Bandbreite dominieren. Schließlich hat das Lesen des Prompts mit den M5-Chips einen Sprung gemacht: 1 620,64 Tokens/s für einen M5 Pro, gegenüber 439,78 für einen M4 Pro mit derselben Anzahl von GPU-Kernen, also 3,7-mal schneller. Dieser Unterschied ist für lange Dokumente und RAG von Bedeutung, für den Chat jedoch weit weniger.

Eine gute Vorgehensweise, bevor Sie zu dem Schluss kommen, dass ein Mac langsam ist: dasselbe Modell zunächst mit -ngl 0, dann mit dem Standardwert erneut starten und die Ergebnisse vergleichen. Der Unterschied zeigt, was die GPU auf Ihrem Rechner tatsächlich leistet, und bestätigt, dass die Berechnung tatsächlich über Metal erfolgt. Notieren Sie auch die verwendete Version von llama.cpp: Die Metal-Optimierungen entwickeln sich schnell weiter, und eine ältere Binärdatei kann deutlich langsamer sein als eine aktuelle Version.

#Fehlerbehebung: häufige Fehler

• MLX vs. llama.cpp auf dem Mac: Wer gewinnt 2026?
• llama.cpp mit CUDA kompilieren
• Welche Modelle für 32 GB Speicher?

• Quelle: offizielles Repository von llama.cpp
• Quelle: Dokumentation zur Kompilierung von llama.cpp
• Quelle: öffentlicher Benchmark auf Apple Silicon
• Quelle: Diskussion über die GPU-Speichergrenze von Mac-Computern