Preise für Grafikkarten für dielokale KI

Welche Grafikkarte kaufen, um einen LLM lokal zu betreiben?

Prüfen Sie zuerst den Grafikspeicher (VRAM): Das Modell muss vollständig hineinpassen, sonst werden Teile in den Arbeitsspeicher des PCs ausgelagert und die Geschwindigkeit bricht ein. In Q4 reichen 12 GB für Modelle mit bis zu etwa 14 Milliarden Parametern, 16 GB für bis zu etwa 24 Milliarden, 24 bis 32 GB für Modelle mit 30 bis 35 Milliarden Parametern und 48 GB für bis zu etwa 70 Milliarden. Bei gleicher Speicherkapazität gibt die Bandbreite den Ausschlag: Sie bestimmt die Generierungsgeschwindigkeit.

NVIDIA, AMD oder Intel für die lokale KI?

NVIDIA bleibt die einfachste Wahl: CUDA wird von allen Tools (Ollama, LM Studio, llama.cpp, vLLM) unterstützt. Die Radeon RX 9000 und AI PRO R9700 werden von Ollama (ROCm 7), LM Studio und llama.cpp unterstützt, wobei manchmal etwas mehr Konfigurationsaufwand erforderlich ist. Intel-Arc-Karten nutzen hauptsächlich Vulkan oder SYCL (llama.cpp, LM Studio) und OpenVINO: Sie bieten oft den günstigsten VRAM, haben aber das am wenigsten ausgereifte Ökosystem.

Ist die RTX 5090 für KI ihren Preis wert?

Sie ist die schnellste Grafikkarte für den Endverbrauchermarkt (1 792 GB/s) mit 32 GB, kostet laut der letzten Preiserhebung aber 6 999,95 €, gegenüber 2 349 € zur Markteinführung. Für 32 GB kostet eine Radeon AI PRO R9700 (2 199,95 €) oder eine Intel Arc Pro B70 (1 899,95 €) deutlich weniger, erreicht jedoch nur etwa ein 2,8stel der Geschwindigkeit. Für sehr große Modelle ist ein Mini-PC mit 128 GB gemeinsamem Speicher bleibt die Alternative.

Woher stammen diese Preise und wann werden sie aktualisiert?

Aus dem Produktfeed unseres Partners Materiel.net, der jeden Montag und jeden Donnerstag automatisch abgerufen wird. Für jeden Chip wählen wir markenübergreifend die günstigste Karte aus, die auf Lager ist oder innerhalb von 7 Tagen versandt wird. Amazon-Preise werden nicht archiviert: Amazon erlaubt nur die Anzeige aktueller Preise, daher erscheinen sie live auf den Schaltflächen. Die Links sind Affiliate-Links: Ein Kauf bringt uns eine Provision, ohne Mehrkosten für Sie, und beeinflusst die automatisch berechnete Rangfolge nicht.

Wie wird die Geschwindigkeit geschätzt?

Für die Generierung jedes Tokens liest die Grafikkarte das gesamte Modell erneut aus dem Speicher: Die maximale Geschwindigkeit entspricht ungefähr der Speicherbandbreite geteilt durch die Modellgröße. Für ein Modell mit 14 Milliarden Parametern in Q4 (etwa 9 GB) setzen wir 70 % dieses Werts an. Die tatsächlichen Messwerte variieren je nach Software und Treibern: Dies ist eine Größenordnung zum Vergleich der Karten, kein Versprechen.