01Was es kann
- MoE 75B/9B aktive Parameter: weniger aufwendige Inferenz als bei einem vergleichbaren dichten Modell
- Fokus auf logisches Denken
- 128k nativer Kontext
- Kommerzieller Einsatz erlaubt (NVIDIA Open Model License)
- —150 GB in FP16 — nur für große Konfigurationen
- —~44 GB VRAM selbst bei Q4 (2× RTX 4090 oder Mac 64 GB+)
- —Kein offizieller Ollama-Tag — Installation über HuggingFace/vLLM
04Installieren
Installieren Sie Ollama für Ihr Betriebssystem. Prüfen Sie das Modell und seine Quantisierung vor dem Download. Beginnen Sie mit einem Kontext von 4096 Tokens und prüfen Sie anschließend mit ollama ps, wo das Modell ausgeführt wird. Ein unten aufgeführter Befehl ist kein Beweis dafür, dass ein Test auf Ihrem Computer ausgeführt wurde.
02Benötigter Speicher
Ungefähr benötigter GPU-VRAM zum Ausführen dieses Modells, einschließlich des Speicherbedarfs für einen Kontext von 4k Tokens. Für einen längeren Kontext rechnen Sie mit zusätzlich ca. 1 GB je 8k Tokens.
Welche Hardware eignet sich für Nemotron 3 Puzzle 75B-A9B?
Um Nemotron 3 Puzzle 75B-A9B lokal mit Q4-Quantisierung auszuführen, benötigen Sie etwa 44 GB VRAM. Eine Option zum Vergleich: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — Halten Sie einen Puffer für das System und den Kontext frei; prüfen Sie die Kompatibilität der Engine mit der GPU.
Warum diese Wahl? Unsere vollständige Übersicht zu GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) →
Affiliate-Links — mögliche Provision ohne zusätzliche Kosten für Sie, unabhängige Empfehlung. Als Amazon-Partner verdient WelchesLLM an qualifizierten Käufen.
03Erwartete Geschwindigkeit
Generierte Tokens pro Sekunde in Q4_K_M, Kontext 4k. Jenseits von 20 t/s, lässt es sich angenehm lesen. Bei weniger als 10 t/s, eignet es sich nur zum Testen.