01Was es kann
- Qualität nahe an der von Llama 70B
- Geringe Latenz
- 128k Kontext
- Hervorragend bei Agentenaufgaben und der Nutzung von Tools
- —Erfordert mindestens 16 GB VRAM bei Q4
- —Schwächer beim Programmieren als Qwen Coder
05Installieren
Installieren Sie Ollama für Ihr Betriebssystem. Prüfen Sie das Modell und seine Quantisierung vor dem Download. Beginnen Sie mit einem Kontext von 4096 Tokens und prüfen Sie anschließend mit ollama ps, wo das Modell ausgeführt wird. Ein unten aufgeführter Befehl ist kein Beweis dafür, dass ein Test auf Ihrem Computer ausgeführt wurde.
02Benötigter Speicher
Ungefähr benötigter GPU-VRAM zum Ausführen dieses Modells, einschließlich des Speicherbedarfs für einen Kontext von 4k Tokens. Für einen längeren Kontext rechnen Sie mit zusätzlich ca. 1 GB je 8k Tokens.
Welche Hardware eignet sich für Mistral Small 3?
Um Mistral Small 3 lokal mit Q4-Quantisierung auszuführen, benötigen Sie etwa 14 GB VRAM. Eine Option zum Vergleich: RTX 5070 Ti 16 GB — Halten Sie einen Puffer für das System und den Kontext frei; prüfen Sie die Kompatibilität der Engine mit der GPU.
Affiliate-Links — mögliche Provision ohne Mehrkosten für Sie, unabhängige Empfehlungen. Als Amazon-Partner erzielt WelchesLLM einen Gewinn aus qualifizierten Käufen.
Unterwegs: Mistral Small 3 läuft auch auf einem RTX-Laptop (16 GB VRAM) →
Ihr privates, kostenloses ChatGPT auf Ihrem Rechner in einer Stunde – mit LM Studio, Ollama, Open WebUI und Ihren Dokumenten, ganz ohne Cloud.
- Lebenslanger Online-Zugang
- PDF + Dateien
- Lebenslange Updates
03Erwartete Geschwindigkeit
Generierte Tokens pro Sekunde in Q4_K_M, Kontext 4k. Jenseits von 20 t/s, lässt es sich angenehm lesen. Bei weniger als 10 t/s, eignet es sich nur zum Testen.
04Öffentliche Benchmarks
Aus Model Cards oder MMLU-Pro-/Community-Quellen übernommene Ergebnisse. Einheit: Anteil korrekter Antworten in %.