Mistral Small 3vsQwen 2.5 32B
Vollständiger Vergleich zwischen Mistral Small 3 (24 Milliarden Parameter, Mistral AI) und Qwen 2.5 32B (32B, Alibaba). Erforderlicher VRAM je nach Quantisierung, auf 4 Referenz-GPUs gemessene Tokens pro Sekunde, Bewertung nach Anwendungsfall, Lizenz, Installationsbefehle. Alle Zahlen werden aus den Katalogdaten berechnet – kein Kopieren und Einfügen zwischen Seiten.
Kurz gesagt
| Eigenschaft | Mistral Small 3 | Qwen 2.5 32B |
|---|---|---|
| Parameter | 24B | 32B |
| Familie | Mistral | Qwen |
| Autor | Mistral AI | Alibaba |
| Herkunft | FR | CN |
| Lizenz | Apache 2.0 | Apache 2.0 |
| Kontext | 32 768 Tokens | 131 072 Tokens |
| Erscheinungsdatum | Januar 2025 | September 2024 |
Speicherbedarf
Ungefähre VRAM, die für die Inferenz mit einem mittleren Kontextfenster erforderlich ist. Der Gewinner (in Grün) ist das Modell, das verbraucht moins — Vorteil für kleine Modelle.
| Quantisierung | Mistral Small 3 | Qwen 2.5 32B |
|---|---|---|
| Q4_K_M (leicht) | 14 GB | 19 GB |
| Q5_K_M (ausgewogen) | 17 GB | 23 GB |
| Q8 (nahezu verlustfrei) | 26 GB | 35 GB |
| FP16 (maximale Qualität) | 48 GB | 64 GB |
| RAM bei reinem CPU-Betrieb | 24 GB | 32 GB |
Geschätzte Geschwindigkeit (Tokens/Sekunde)
Schätzungen basierend auf der besten Quantisierung, die auf jeder GPU möglich ist. Die tatsächlichen Zahlen hängen vom Prompt, vom Kontext und der Engine (llama.cpp, vLLM, MLX) ab. Methodik.
| Referenz-GPU | Mistral Small 3 | Qwen 2.5 32B |
|---|---|---|
| RTX 4090 (24 GB) | 40 tok/s · Q5_K_M | 30 tok/s · Q5_K_M |
| RTX 4080 (16 GB) | 15 Tok/s · Q4_K_M | ✗ zu groß |
| RTX 3060 12GB (12 GB) | ✗ zu groß | ✗ zu groß |
| Apple M4 Pro (48 GB) (36 GB) | 15 Tok/s · Q8 | 12 Tok/s · Q8 |
Fazit nach Anwendungsfall
Für jede gängige Anwendung geben wir an, welches der beiden Modelle aufgrund seiner Tags, Größe und Spezialisierung am besten geeignet ist.
Ihr privates, kostenloses ChatGPT auf Ihrem Rechner in einer Stunde – mit LM Studio, Ollama, Open WebUI und Ihren Dokumenten, ganz ohne Cloud.
- Lebenslanger Online-Zugang
- PDF + Dateien
- Erstattung binnen 30 Tagen
Stärken und Schwächen
Mistral Small 3
Hervorragendes Verhältnis von Qualität zu Größe bei der Veröffentlichung (Anfang 2025). Hält mit 70B-Modellen mit.
- Qualität nahe an der von Llama 70B
- Geringe Latenz
- 128k Kontext
- Hervorragend bei Agentenaufgaben und der Nutzung von Tools
- Erfordert mindestens 16 GB VRAM bei Q4
- Schwächer beim Programmieren als Qwen Coder
Installation
Qwen 2.5 32B
Bei den meisten Benchmarks hält es mit 70B-Modellen mit.
- Referenz unter den Open-Weight-Modellen mit 32B im Jahr 2024
- 128k Kontext
- Apache 2.0
- Sehr stark in Mathematik, Programmierung und logischem Schlussfolgern
- Bedarf von 19 GB VRAM bei Q4
- 2025 von Qwen 3 32B übertroffen
Installation
Häufige Fragen
Welches Modell läuft auf einer RTX 4090 (24 GB) besser: Mistral Small 3 oder Qwen 2.5 32B?
Auf einer RTX 4090 läuft Mistral Small 3 in Q5_K_M (~40 Tok/s), Qwen 2.5 32B in Q5_K_M (~30 tok/s). Bei reinem Durchsatz, Mistral Small 3 gewinnt. Nutzen Sie den Konfigurator um Ihre konkrete GPU zu testen.
Mistral Small 3 oder Qwen 2.5 32B: Welches Modell ist auf Französisch besser?
Für gehobenes Französisch (Texterstellung, Zusammenfassung, Übersetzung) Mistral Small 3 hat die Nase vorn – mit einem reichhaltigen französischsprachigen Korpus trainiert. Das andere Modell bleibt nutzbar, allerdings für weniger anspruchsvolle Anwendungen.
Welches verbraucht am wenigsten VRAM?
Bei Q4_K_M, Mistral Small 3 passt in 14 GB contre 19 GB für das Konkurrenzmodell — ein Unterschied von 5 GB, der erheblich ist, wenn Sie eine RTX 3060 oder eine 4060 Ti 8 GB ins Auge fassen.
Mistral Small 3 oder Qwen 2.5 32B für die Programmierung?
Mistral Small 3 ist am besten geeignet (auf Code spezialisiert, bessere HumanEval-Scores). Für einen IDE-Copiloten kombinieren Sie es mit Continue oder Aider.
Dürfen diese Modelle kommerziell im Produktivbetrieb eingesetzt werden?
Mistral Small 3 ist unter Apache 2.0 lizenziert – frei für kommerzielle Nutzung. Qwen 2.5 32B ist unter Apache 2.0 lizenziert — ebenfalls frei nutzbar. Für SaaS bevorzugen Sie Apache 2.0 oder MIT.
Welches soll man 2026 wählen?
Das hängt von Ihrer wichtigsten Einschränkung ab. Kleiner / schneller : Mistral Small 3 (24B). Leistungsfähiger : Qwen 2.5 32B (32B). Wenn Sie unsicher sind, starten Sie den Konfigurator mit Ihrer GPU und Ihrem Anwendungsfall – er wird auf Basis beider Faktoren entscheiden.
Erwägenswerte Alternativen
Falls keines der beiden Modelle zu Ihnen passt, finden Sie hier ähnliche Modelle, die Sie sich ansehen könnten.