IBM Granite 4 vs Mistral Small 24B: Enterprise-LLM 2026

Das Duell Granite 4 vs Mistral Small 24B stellt zwei Philosophien für Unternehmens-LLMs mit offenen Modellgewichten gegenüber: IBMs konsequente Einhaltung von Compliance-Vorgaben und die europäische Effizienz von Mistral AI. Dieser Vergleich Granite 4 vs Mistral richtet sich an Architekten, die ein Modell vor Ort unter Vorgaben zu Lizenz, VRAM und Governance bereitstellen müssen. Beide Modellfamilien bedienen dieselbe Nische – interne Assistenten, dokumentenbasiertes RAG und Klassifikation –, unterscheiden sich jedoch deutlich bei den Abwägungen zu Kontextgröße, Speicherverbrauch und Fine-Tuning-Ökosystem. Wir gehen die Hardwarespezifikationen, die Lizenzen, die öffentlichen Benchmarks und anschließend die konkreten Anwendungsfälle durch, bevor wir zu den häufig gestellten Fragen und unseren abschließenden Empfehlungen kommen.

Positionierung und Erbe der beiden Familien

IBM Granite 4 gehört zu einer Reihe von ISO-42001-zertifizierten Modellen, die auf Korpora trainiert wurden, deren Herkunft dokumentiert ist — ein starkes Argument für Rechtsabteilungen. Mistral AI wiederum treibt seit 2023 eine konsistente Modellreihe unter Apache 2.0 voran; zu deren Referenzversionen im Katalog quelllm.fr gehören Mistral Small 4 (119B), Mistral Medium 3.5 128B et Mistral Large 3 675B.

Die Familie Mistral Small hat lange Modelle mit Dichte zwischen 22B und 24B Parametern bezeichnet, optimiert für die Ausführung auf einer einzigen Karte. Die Version 24B wird weiterhin von die offizielle Dokumentation von Mistral als empfohlenen Einstiegspunkt für souveräne Bereitstellungen. Bei IBM verfolgt Granite 4 weiterhin einen Ansatz mit dichten Modellen in mehreren Größen, dokumentiert auf dem IBM-Granite-Hub auf HuggingFace.

Um noch tiefer in das Spektrum Mistral einzugehen, ist dedizierter Leitfaden für Mistral verzeichnet die verfügbaren Varianten und ihre Anwendungsfälle.

Hardware-Spezifikationen und VRAM-Auslastung

Es ist hier, wo der Granite 4 vs Mistral entscheidet sich in der Praxis. Beide Modelle sind für eine einzelne Karte mit 24–48 GB ausgelegt, lassen aber unterschiedlich viel Spielraum.

Granite 4 (dichte Architektur, ~32B für den Unternehmenseinsatz – Zahlen je nach genauer Variante noch zu bestätigen) : - VRAM Q4 : geschätzt ~20 GB – passt auf eine RTX 4090 24 GB - VRAM Q8 : ~34 GB geschätzt — erfordert eine A6000 48 GB oder L40S - VRAM FP16 : geschätzt ~64 GB – zwei GPUs empfohlen - Kontext : 128k Tokens von IBM angekündigt (für die endgültige Variante noch zu bestätigen)

Mistral Small 24B (dichte Architektur, 24 Milliarden Parameter) : - VRAM Q4 : geschätzt etwa 14 GB — passt problemlos auf eine RTX 4090 - VRAM Q5 : ~17 GB geschätzt - VRAM Q8 : ~26 GB geschätzt – passt nicht in den VRAM einer 4090, passt aber auf eine A6000 - VRAM FP16 : ~48 GB geschätzt - Kontext : 32k Tokens (erweiterbar mit RoPE Scaling, siehe Paper RoPE arXiv)

Als Richtwert erreicht eine RTX 4090 mit Mistral Small 24B Q4 über llama.cpp etwa 55–70 Tokens pro Sekunde, gegenüber 40–55 Tokens pro Sekunde mit einem vergleichbaren dichten Granite-Modell in Q4 (je nach Runtime zu bestätigen). Für die genaue Dimensionierung: Der Konfigurator quelllm.fr berücksichtigt die tatsächliche GPU zusammen mit der angestrebten Quantisierung.

Wenn Sie den besten Kompromiss zwischen VRAM und Leistung in dieser Serie suchen, dann ist der Rangliste der besten 24B-LLMs listet die direkten Alternativen auf.

Lizenzen und Governance

Das Ausschlusskriterium für viele französische Unternehmen.

• IBM Granite 4 : Lizenz Apache 2.0, Patente ausdrücklich abgedeckt, kommerzielle Freistellung über watsonx möglich. Dies ist die permissivste Lizenz auf dem Markt, identisch mit der von gpt-oss 120B oder Snowflake Arctic Instruct.
• Mistral Small 24B : ebenfalls Apache 2.0 für die Open-Weights-Version. Achtung: Die „Medium“-Varianten und einige neuere Modelle wechseln zur Modified-MIT-Lizenz (etwa Mistral Medium 3.5 128B), mit Einschränkungen für die kommerzielle Nutzung, die sorgfältig gelesen werden sollten.

In genau diesem Punkt endet der Vergleich Granite 4 vs Mistral endet unentschieden: Beide Einstiegsmodelle stehen unter Apache 2.0. Der Unterschied liegt in der Nachvollziehbarkeit des Trainingskorpus. IBM veröffentlicht eine detaillierte Data Card, während Mistral weniger offenlegt. Für eine IT-Abteilung, die dem europäischen AI Act unterliegt (2025 in Kraft getreten), fällt dieser Unterschied stark ins Gewicht.

Zum Vergleich: Modelle wie Llama 3.1 70B stehen weiterhin unter der Llama Community License – in der Praxis weniger restriktiv als oft behauptet, aber mit bestimmten öffentlichen Ausschreibungen unvereinbar, die ausdrücklich Apache 2.0 oder MIT verlangen.

Leistungsdaten und Qualität

Die folgenden Zahlen stammen aus offiziellen HuggingFace-Modellkarten und müssen mit Ihren eigenen fachlichen Evaluierungen abgeglichen werden.

Mistral Small 24B (von Mistral veröffentlichte Zahlen, auf Ihrem Stack zu bestätigen) : - MMLU : ~81% geschätzt - HumanEval : ~85% geschätzt - MATH : ~70% geschätzt - MT-Bench : ~8,3 geschätzt

IBM Granite 4 (je nach Variante zu bestätigen) : - MMLU : ~78–80 % geschätzt - HumanEval : ~80% geschätzt - HELM Enterprise : IBM veröffentlicht spezifische Scores für Unternehmensaufgaben (strukturierte Extraktion, Compliance)

Mistral Small 24B behält den Vorsprung bei allgemeinen Programmieraufgaben und mathematischem Schlussfolgern. Granite 4 überzeugt bei strukturierten Klassifikationsaufgaben, der Extraktion juristischer Entitäten und fachbezogenen RAG-Pipelines. Das Referenzpaper zu HELM bleibt die methodische Grundlage zur Interpretation dieser Ergebnisse.

Für einen Vergleich mit Modellen in einer höheren Leistungsklasse siehe unseren Vergleich Mistral Large 3 vs DeepSeek V3.2.

Konkrete Anwendungsfälle

Granite 4 wählen, wenn : - Sie sind im Bankwesen, im Versicherungswesen, im Gesundheitswesen oder im öffentlichen Sektor tätig - die Rückverfolgbarkeit des Trainingskorpus ist ein Auditkriterium - Sie planen eine Bereitstellung über watsonx mit Freistellung durch IBM - Ihre vorherrschenden Workloads sind dokumentenbasiertes RAG und Klassifikation

Mistral Small 24B wählen, wenn : - Sie möchten das Verhältnis von Qualität zu VRAM auf einer RTX 4090 oder L40 maximieren - Code, logisches Schlussfolgern und kreative Generierung dominieren Ihre Anwendungsfälle - Sie schätzen einen europäischen Anbieter aus Gründen der Souveränität - Sie planen ein Fine-Tuning mittels LoRA — das Mistral-Ökosystem ist auf Community-Seite ausgereifter

Für einen vielseitigen internen Assistenten bleibt Mistral Small 24B die vernünftige Standardwahl. Für eine regulierte Verarbeitungskette mit jährlichem Audit lohnt sich bei Granite 4 der Aufwand für die Qualifizierung. Unser Leitfaden zu LLMs im Unternehmen erläutert die Entscheidungsmatrix.

Wenn Ihre Anforderungen über 24B hinausgehen, werfen Sie einen Blick auf Mistral Small 4 mit 119B (weiterhin unter Apache 2.0) oder Qwen 2.5 72B Instruct als Alternative unter den asiatischen Wettbewerbern.

FAQ

F: Sind Granite 4 und Mistral Small 24B mit llama.cpp und vLLM kompatibel?

Ja, beide. Mistral Small 24B wird seit der Integration des Mistral-V3-Tokenizers nativ von llama.cpp unterstützt, und vLLM kann es bereits seit mehreren Versionen bereitstellen. Granite 4 ist in Hugging Faces transformers und in vLLM integriert; die Unterstützung durch llama.cpp hängt von der Variante ab (dicht oder MoE). Prüfen Sie vor der Bereitstellung die Version Ihrer Laufzeitumgebung.

F: Welche Quantisierung sollte man wählen, um mit einer einzigen RTX 4090 mit 24 GB auszukommen?

Für Mistral Small 24B bietet Q5_K_M bei etwa 17 GB VRAM den besten Kompromiss zwischen Qualität und Speicherbedarf und lässt Spielraum für einen Kontext von 16k Tokens. Bleiben Sie für Granite 4 (geschätzt ~32B) bei Q4_K_M mit etwa 20 GB. Darüber hinaus sollten Sie eine A6000 mit 48 GB einplanen oder auf mehrere GPUs umsteigen.

F: Welches Modell eignet sich besser für auf Fachaufgaben zugeschnittenes Fine-Tuning?

Mistral Small 24B verfügt über ein sehr aktives LoRA- und QLoRA-Ekosystem auf HuggingFace mit zahlreichen Community-Rezepten. Granite 4 bietet offizielle IBM-Tools über watsonx.ai und die Bibliothek InstructLab. Wenn Sie bei souveränem, selbst gehostetem Fine-Tuning bleiben, lässt sich Mistral schneller einsetzen. Wenn Sie integrierte Tools wünschen, gewinnt Granite.

F: Ist der 32k-Kontext von Mistral Small 24B für RAG eine Einschränkung?

Nicht bei einem RAG mit sinnvoll aufgeteilten Textabschnitten. Die fachliche Regel bleibt: 5 bis 10 Passagen mit jeweils 500 Tokens abrufen, was höchstens 5k Tokens belegt. Wenn Sie 100k+ Tokens im nativen Kontext benötigen, ziehen Sie eher GLM-5.1 (200k) oder Mistral Medium 3.5 128B (256k).

F: Unterstützt Granite 4 das Französische genauso gut wie Mistral?

Mistral Small 24B hat im Französischen einen grundlegenden Vorteil: ein sehr umfangreiches europäisches Korpus und einen optimierten Tokenizer. Granite 4 verarbeitet Französisch ordentlich, erreicht bei stilistischen Nuancen jedoch eine etwas geringere Qualität (mit Ihren eigenen Evaluationsdatensätzen zu überprüfen). Für eine ausschließlich französischsprachige Nutzung bleibt Mistral die Standardempfehlung.

Q: Gibt es zwischen diesen beiden Modellen alternative Modelle unter Apache 2.0?

Ja, mehrere. Qwen3-Coder-Next 80B-A3B zum Programmieren, gpt-oss 120B für allgemeine Aufgaben oder Molmo 72B wenn Sie multimodale Funktionen benötigen. Alle stehen unter der Apache-2.0-Lizenz und lassen sich on-premise bereitstellen.

Fazit

Die Entscheidung Granite 4 vs Mistral Small 24B hängt von Ihrer wichtigsten Einschränkung ab: Compliance und Audit sprechen für Granite 4, das Verhältnis von Qualität zu VRAM-Bedarf und das Ökosystem für Mistral Small 24B. Beide sind unter Apache 2.0 lizenziert, beide passen in Q4 auf eine RTX 4090, und beide werden 2026 sorgfältig gepflegt. Um Ihren Stack genau auf Ihre GPU und Ihre Workloads abzustimmen, nutzen Sie den Konfigurator quelllm.fr oder erkunden Sie den gesamten Katalog der 249 Modelle , die indexiert sind.