Welcher LLM läuft auf meinem Mac ?

Kann ein Mac mit 8 GB einen LLM laufen lassen?

Ja, aber nur kleine Modelle: Etwa 5 GB stehen für Modelle zur Verfügung, sodass ein Modell mit 3 bis 4 Milliarden Parametern in Q4 hineinpasst (Qwen 3 4B, Gemma 3 4B). Ab 16 GB lassen sich Modelle mit 7–8 Milliarden Parametern komfortabel betreiben.

Welchen Anteil des vereinheitlichten Speichers kann die GPU nutzen?

Standardmäßig reserviert macOS auf Macs mit bis zu 32 GB Arbeitsspeicher etwa ein Drittel des Speichers für das System, bei größeren Speicherkapazitäten ein Viertel. Ein Mac mit 24 GB stellt den Modellen daher etwa 16 GB zur Verfügung, ein Mac mit 96 GB etwa 72 GB. Mit dem Befehl sysctl iogpu.wired_limit_mb lässt sich diese Grenze erhöhen, wobei genügend Speicher für macOS übrig bleiben muss.

Warum haben zwei Macs mit gleicher Speichergröße nicht die gleiche Geschwindigkeit?

Denn die Generierungsgeschwindigkeit hängt vor allem von der Speicherbandbreite ab: 120 GB/s bei einem M4, 273 GB/s bei einem M4 Pro, 546 GB/s bei einem M4 Max. Bei jedem Wort liest die Maschine das gesamte Modell erneut. Ein M4 Max ist daher etwa 4-mal schneller als ein M4 bei einem Modell, das auf beiden Geräten läuft.

MLX, Ollama oder LM Studio auf dem Mac?

Alle drei funktionieren. MLX, das Framework von Apple, ist auf Apple Silicon oft am schnellsten; LM Studio bietet es mit einer grafischen Benutzeroberfläche an; Ollama ist auf der Kommandozeile am einfachsten zu bedienen und lässt sich in viele Tools integrieren.