01Was es kann
- Kompaktes 12B-Modell mit dichter Architektur (7 GB VRAM in Q4)
- Stark im Schlussfolgern und im Schreiben von Code
- Lauffähig auf einer RTX 3060 mit 12 GB und auf Macs der M-Serie
- NVIDIA Open Model-Lizenz
- —Modell mit Zugangsbeschränkung auf Hugging Face (Zugang nach Bestätigung per Klick)
- —Lizenz mit Einschränkungen für die kommerzielle Nutzung (NVIDIA Open Model License)
- —Nativer Kontext nicht öffentlich bestätigt
04Installieren
Installieren Sie Ollama für Ihr Betriebssystem. Prüfen Sie das Modell und seine Quantisierung vor dem Download. Beginnen Sie mit einem Kontext von 4096 Tokens und prüfen Sie anschließend mit ollama ps, wo das Modell ausgeführt wird. Ein unten aufgeführter Befehl ist kein Beweis dafür, dass ein Test auf Ihrem Computer ausgeführt wurde.
02Benötigter Speicher
Ungefähr benötigter GPU-VRAM zum Ausführen dieses Modells, einschließlich des Speicherbedarfs für einen Kontext von 4k Tokens. Für einen längeren Kontext rechnen Sie mit zusätzlich ca. 1 GB je 8k Tokens.
Welche Hardware eignet sich für Nemotron 3 Super 12B?
Um Nemotron 3 Super 12B lokal mit Q4-Quantisierung auszuführen, benötigen Sie etwa 7 GB VRAM. Eine Option zum Vergleich: RTX 5060 Ti 16 GB — Halten Sie einen Puffer für das System und den Kontext frei; prüfen Sie die Kompatibilität der Engine mit der GPU.
Affiliate-Links – mögliche Provision ohne Mehrkosten für Sie, unabhängige Empfehlung. Als Amazon-Partner verdient QuelLLM an qualifizierten Käufen.
Unterwegs: Nemotron 3 Super 12B läuft auch auf einem RTX-Laptop (16 GB VRAM) →
03Erwartete Geschwindigkeit
Generierte Tokens pro Sekunde in Q4_K_M, Kontext 4k. Jenseits von 20 t/s, lässt es sich angenehm lesen. Bei weniger als 10 t/s, eignet es sich nur zum Testen.