Qwen 3.6 27B lokal: Speicher nach Quantisierung

#Qwen 3.6 27B: die kurze Antwort

Um Qwen 3.6 27B ohne Überlauf auf den Prozessor zu nutzen, sollten Sie eine Grafikkarte mit 24 GB VRAM oder einen Mac mit mindestens 32 GB Unified Memory einplanen. Ein Mac mit 24 GB kann für einen Test mit kurzem Kontext und wenigen weiteren geöffneten Anwendungen ausreichen. Darunter lässt sich das Modell zwar noch laden, aber ein Teil der Berechnung läuft dann auf dem Prozessor.

Commande

ollama run qwen3.6:27b. Le tag existe dans la bibliothèque officielle d'Ollama (relevé du 5 septembre 2026).

Datei

18 GB bei Ollama (Erhebung vom 29. September 2026); 16,10 GB auf der Seite von LM Studio (Erhebung vom 5. September 2026).

Weitere Quantisierungen

Etwa 19 GB bei Q5, 29 GB bei Q8 und 54 GB bei FP16 laut QuelLLM-Katalog. Das sind Schätzungen, keine offiziellen Dateigrößen.

Kontext

Ollama weist unter 24 GiB VRAM 4 k Tokens zu, von 24 bis 48 GiB 32 k und ab 48 GiB 256 k. Jede Erhöhung verbraucht zusätzlich zur Datei Speicher.

Kontrollroutine

ollama ps: Solange die Spalte PROCESSOR nicht 100% GPU anzeigt, passt das Modell nicht vollständig in den Grafikspeicher.

#Was Sie installieren

Qwen 3.6 27B ist ein Dense-Modell von Alibaba, das im April 2026 unter der Lizenz Apache 2.0 veröffentlicht wurde. „Dense“ bedeutet, dass seine 27 Milliarden Parameter an der Berechnung jedes Tokens beteiligt sind. Die Seite von Ollama schreibt ihm die Fähigkeiten Vision, Tools und Reasoning (thinking) sowie einen angegebenen maximalen Kontext von 256 k Token zu. Die vollständigen Spezifikationen finden Sie auf der Seite von /modele/qwen36-27b: Dieser Leitfaden behandelt nur den Speicher und die Installation.

Dieses Modell ist nicht mehr das neueste seiner Größe: Qwen 3.8 27B hat es im August 2026 abgelöst. Das 3.6 bleibt interessant, wenn Ihre Prompts bereits darauf abgestimmt sind oder wenn ein von Ihnen verwendetes Tool es in seiner Dokumentation nennt. Für eine erste Installation vergleichen Sie auch mit unserem Guide zu Qwen 3.8 27B, das eigene Tags und Einstellungen hat.

#Speicherbedarf von Qwen 3.6 27B nach Quantisierung

Die Quantisierung verringert die Genauigkeit der Gewichte, um ihre Größe zu reduzieren. Je stärker sie ist, desto kleiner ist die Datei, mit dem Risiko eines Qualitätsverlusts. Die Tabelle trennt bewusst die veröffentlichten Größen von den Schätzungen aus dem Katalog, denn diese Zahlen haben nicht denselben Stellenwert.

Die Spalte „Größe + 15 bis 25 %“ wendet eine Vorsichtsregel an, die mit der in unserem Leitfaden zu Qwen 3.8 27B identisch ist. Sie dient dazu, den Kontext-Cache und den Overhead der Engine einzuplanen. Es handelt sich um eine Berechnung, nicht um eine Messung: Der tatsächliche Verbrauch hängt vom gewählten Kontext, von der Engine und von den parallel laufenden Prozessen ab.

Warum 18 GB und 16,10 GB?

Ollama und LM Studio stellen nicht unbedingt dasselbe Paket bereit. Unsere Erhebung lässt keine Zuordnung der Abweichung zu einer bestimmten Ursache zu: Maßgeblich ist für Sie der Wert, den das von Ihnen verwendete Tool anzeigt.

Warum gibt der Katalog in Q4 16 GB an?

Dies ist eine Schätzung auf Grundlage der Parameterzahl. Sie liefert eine Größenordnung und liegt 2 GB unter der von Ollama angegebenen Datei. Für dieses Tag ist der Wert von Ollama maßgeblich.

Ein Vergleichspunkt

Für Qwen 3.8 27B, ein Modell gleicher Größe, veröffentlichte Ollama 18 GB in Q4_K_M, 30 GB in Q8 und 56 GB in BF16 (Erhebung vom 18. August 2026). Diese Werte betreffen ein anderes Modell: Sie zeigen eine Tendenz, ersetzen aber keine Erhebung für das 3.6.

Wenn mehrere Varianten in Ihren Speicher passen, beginnen Sie mit Q4_K_M: Das ist die auf QuelLLM empfohlene Einstellung. Wechseln Sie nur dann zu einer höheren Stufe, wenn Ihre eigenen Prompts einen Mangel zeigen, den die Quantisierung erklärt. Unser Guide zur Wahl der Quantisierung erläutert diese Abwägung allgemein.

#Der für den Kontext einzuplanende Puffer

Die Dateigröße ist nur der Ausgangspunkt. Die Engine reserviert außerdem Speicher für das Kontextfenster, also für die Unterhaltung, die Dokumente und das Reasoning des Modells. Der angegebene Kontext von 256 k Tokens ist ein Maximum, nicht das, was tatsächlich zugewiesen wird.

Weniger als 24 GiB VRAM

Ollama startet mit 4 k Token. Das reicht für einen kurzen Austausch, nicht für ein langes Dokument.

24 bis 48 GiB

Standardmäßig 32 k Token: der Bereich einer RTX 4090.

48 GiB und mehr

Standardmäßig 256 k Token. Diese Zuweisung belegt viel Platz: Reduzieren Sie sie, wenn Sie sie nicht benötigen.

Agenten, Code, Websuche

Ollama empfiehlt für diese Einsatzzwecke mindestens 64 000 Tokens. Bei 24 GB ist dieser Wert nicht garantiert: Testen Sie ihn mit ollama ps.

Das Risiko ist zweifach. Bei einem zu kurzen Fenster muss die Engine einen Teil der Eingabe auslassen, und das Modell antwortet dann auf Grundlage eines unvollständigen Textes. Bei einem zu langen Fenster kann das Modell teilweise auf den Prozessor ausweichen. Da für dieses Modell keine Messung vorliegt, nennt dieser Leitfaden keinen GB-Wert pro Token-Abschnitt: Die richtige Methode besteht darin, den Wert schrittweise zu erhöhen.

1. 01
   Beginnen Sie mit dem Standardwert

   Starten Sie das Modell mit einer typischen Anfrage und lesen Sie dann die Ausgabe von ollama ps ab. Notieren Sie den belegten Speicher, den Kontext und die GPU/CPU-Aufteilung.
2. 02
   Erhöhen Sie schrittweise

   Gehen Sie zum Beispiel von 8 k auf 16 k, dann auf 32 k und 64 k Tokens. Laden Sie das Modell bei jeder Änderung neu: Der Kontext wird beim Laden festgelegt.
3. 03
   Hören Sie auf, bevor der Speicher überläuft

   Sobald PROCESSOR eine Aufteilung zwischen CPU und GPU anzeigt, kehren Sie zur vorherigen Stufe zurück. Lassen Sie etwas Reserve, wenn Sie auch Bilder senden, denn deren Verarbeitung belegt ebenfalls Speicher.

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.6:27b",
  "prompt": "Résume ce texte en trois points : ...",
  "stream": false,
  "options": { "num_ctx": 32768 }
}'

Wenn Ollama bereits als Dienst läuft, muss die Variable in der Dienstkonfiguration festgelegt werden, da ein in einem Terminal ausgeführter Befehl den Dienst nicht verändert. Die Anwendung Ollama bietet in ihren Einstellungen außerdem einen Schieberegler für den Kontext.

#Reicht Ihr Rechner aus?

Die Speichertabelle lässt sich recht einfach auf Hardware übertragen. Die folgenden Richtwerte beziehen sich auf den Standard-Tag mit 18 GB. Sie ergeben sich aus dieser Größenberechnung und beschreiben keine Tests: Es wird keine Geschwindigkeit angegeben.

RTX 3060 12 GB, RTX 4070 12 GB

Die Datei überschreitet den VRAM: Das Modell läuft teilweise auf dem Prozessor. Wählen Sie besser ein kleineres Modell mit einer Größe von etwa 14B in Q4 (≈ 9 GB).

RTX 4080 16 GB

Die 18-GB-Datei übersteigt weiterhin den VRAM, ebenso wie die 16,10 GB von LM Studio, sobald der Kontext hinzukommt. Die Nutzung bleibt mit einer Aufteilung auf GPU und CPU möglich, ist aber nicht komfortabel.

RTX 4090 24 GB

Die erste sinnvolle Stufe: Sie lässt etwa 6 GB über der Datei für den Kontext und den Overhead der Engine.

Mac M4 Pro 24 GB

Für einen Test möglich: Das System und die Anwendungen nutzen denselben Speicher wie das Modell. Halten Sie den Kontext kurz und schließen Sie speicherintensive Anwendungen.

Mac mit 32 bis 48 GB

Die vernünftige Wahl für den täglichen Einsatz, mit echter Reserve für den Kontext.

Ohne Grafikkarte

Der QuelLLM-Katalog schätzt den benötigten Arbeitsspeicher auf 28 GB. Das Modell kann laufen, Sie müssen aber mit einer deutlich langsameren Generierung als auf der GPU rechnen.

Planen Sie auch genügend Speicherplatz auf dem Datenträger ein: mindestens die Größe der Datei, mit etwas Reserve, wenn Sie mehrere Varianten behalten. Für Ihre konkrete Konfiguration liefert der Konfigurator von QuelLLM eine erste Schätzung, die Sie mit ollama ps überprüfen sollten.

#Qwen 3.6 27B mit Ollama installieren

Ollama eignet sich, wenn Sie einen lokalen, per API erreichbaren Dienst unter http://localhost:11434 wünschen, gegebenenfalls mit Open WebUI als Oberfläche.

1. 01
   Installieren oder aktualisieren Sie Ollama

   Verwenden Sie unter Linux das unten stehende offizielle Skript. Laden Sie unter macOS und Windows die Anwendung von ollama.com herunter. Eine ältere Version erkennt das Modell möglicherweise nicht: Bei einem Fehler ist das Update daher der erste Schritt.
2. 02
   Laden Sie das Modell herunter

   ollama pull qwen3.6:27b récupère le fichier. Si la connexion coupe, relancez la commande.
3. 03
   Prüfen Sie, was Sie erhalten haben

   ollama show qwen3.6:27b affiche notamment la quantification, le contexte maximal et les capacités du paquet. C'est le moyen le plus sûr de savoir à quelle variante correspond le tag par défaut.
4. 04
   Beginnen Sie ein erstes Gespräch

   Die erste Antwort erfolgt, nachdem die Gewichte in den Speicher geladen wurden. Lesen Sie, während das Modell geladen ist, in einem zweiten Terminal die Ausgabe von ollama ps.

# Linux : installer ou mettre à jour Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Télécharger le modèle
ollama pull qwen3.6:27b

# Vérifier la quantification, le contexte et les capacités
ollama show qwen3.6:27b

# Discuter avec le modèle
ollama run qwen3.6:27b

# Dans un second terminal : mémoire et répartition GPU/CPU
ollama ps

Auf einem Mac mit Apple Silicon bietet die Bibliothek außerdem qwen3.6:27b-mlx an (Erhebung vom 5. September 2026), das für die MLX-Engine bestimmt ist. Die Größe kann abweichen: Sehen Sie vor der Auswahl auf der Tag-Seite nach.

#Mit LM Studio installieren

LM Studio eignet sich, wenn Sie eine grafische Oberfläche bevorzugen, mit sichtbarer Einstellung des Kontexts und der Anzahl der an die GPU ausgelagerten Schichten. Die offizielle Seite führt die Kennung qwen/qwen3.6-27b, gibt 16,10 GB an und bestätigt Tool-Nutzung, Vision und Reasoning (erfasst am 5. September 2026).

1. 01
   Suchen Sie das Modell

   Geben Sie in der Modellsuche qwen/qwen3.6-27b ein. LM Studio listet die verfügbaren Varianten auf und hebt diejenige hervor, die es für Ihre Hardware als geeignet einstuft.
2. 02
   Wählen Sie das Format

   GGUF auf dem PC, MLX oder GGUF auf dem Mac. Vergleichen Sie die angezeigte Größe mit Ihrem Speicher und berücksichtigen Sie dabei die Reserve aus der vorherigen Tabelle.
3. 03
   Stellen Sie das Laden ein

   Passen Sie vor dem Laden des Modells die Kontextlänge und den GPU-Offload an. Beginnen Sie mit einem moderaten Wert und erhöhen Sie ihn dann schrittweise, wie bei Ollama.
4. 04
   Überwachen Sie den Speicher

   Führen Sie einen Test mit einer realen Anfrage durch und beobachten Sie den belegten Speicher. Wenn das System langsamer wird, reduzieren Sie den Kontext, bevor Sie die Quantisierung wechseln.

# Variante GGUF (--mlx sur Mac pour le format MLX)
lms get qwen/qwen3.6-27b --gguf

Anschließend können Sie das Modell über den lokalen Server von LM Studio für andere Anwendungen bereitstellen: Unser Leitfaden zu dessen API beschreibt diesen Schritt im Detail. Für die Entscheidung zwischen den beiden Tools lesen Sie unseren Vergleich von Ollama und LM Studio.

#Qwen 3.6 27B oder 35B-A3B: die grundsätzliche Entscheidung

Die beiden Modelle gehören zur selben Familie, sind aber unterschiedlich aufgebaut. Das 27B ist ein dichtes Modell. Das 35B-A3B ist ein Mixture-of-Experts (MoE): Es hat 35 Milliarden Parameter, von denen pro Token etwa 3 Milliarden aktiv sind. Der folgende Vergleich stützt sich auf diese Architektur und die veröffentlichten Größen, ohne Benchmark.

Speicher

Vorteil für das 27B: 16,10 GB gegenüber 20,40 GB auf den Seiten von LM Studio (erfasst am 5. September 2026). Ein MoE muss alle seine Experten im Speicher halten, auch wenn pro Token nur wenige von ihnen arbeiten.

Berechnung pro Token

Prinzipieller Vorteil für das 35B-A3B: Weniger aktive Parameter bedeuten weniger Rechenaufwand pro Token, sofern das gesamte Modell in den Speicher passt. Der tatsächliche Unterschied hängt von Ihrem Rechner ab.

Wenn Sie an der Grenze von 24 GB liegen

Das 27B lässt mehr Platz für den Kontext. Das 35B-A3B lässt weniger, was bei langen Dokumenten ins Gewicht fallen kann.

Wenn Sie 32 GB oder mehr haben

Beide passen in den Speicher. Testen Sie sie mit Ihren eigenen Aufgaben: das 35B-A3B, wenn die Reaktionsgeschwindigkeit Vorrang hat, das 27B, wenn Vision wichtig ist (seine Fähigkeiten sind durch unsere Erhebungen bestätigt).

Lizenz

Apache 2.0 für beide: Dieses Kriterium entscheidet nicht zwischen ihnen.

#Fehlerbehebung

„model not found“ beim Herunterladen

Prüfen Sie die Schreibweise: qwen3.6:27b, mit einem Punkt. Wenn ein Quantisierungssuffix abgelehnt wird, existiert es möglicherweise nicht: Sehen Sie auf der Tag-Seite nach und aktualisieren Sie Ollama, falls das Tag dort aufgeführt ist.

Sehr langsame Generierung

Prüfen Sie ollama ps. Eine CPU/GPU-Aufteilung weist auf einen Überlauf hin: Reduzieren Sie den Kontext, schließen Sie Anwendungen, die die GPU nutzen, oder wechseln Sie zu einem kleineren Modell.

Der Anfang des Dokuments scheint ignoriert zu werden

Der Kontext ist vermutlich zu kurz, vor allem mit den standardmäßigen 4 k Tokens unter 24 GiB. Erhöhen Sie num_ctx oder teilen Sie das Dokument auf.

Die Einstellung OLLAMA_CONTEXT_LENGTH hat keine Wirkung

Die Variable muss für den Server gelten, nicht für den Client. Starten Sie den Dienst nach der Änderung neu und laden Sie das Modell anschließend erneut.

Speicherfehler beim Laden

Reduzieren Sie zuerst den Kontext. Wenn der Fehler weiterhin auftritt, prüfen Sie den freien Speicher und die Anzahl der geladenen Modelle: ollama stop qwen3.6:27b gibt dieses Modell frei.

Größen, die von diesem Guide abweichen

Die Pakete können sich ändern. Verlassen Sie sich auf die jeweils aktuelle offizielle Seite und auf die Anzeige Ihres Tools und planen Sie dann dieselbe Reserve ein.

#Weiterführende Informationen

Diese Seiten ergänzen den Leitfaden, ohne seine Zahlen zu wiederholen: die Modellseite für die Spezifikationen und die verwandten Leitfäden für die anderen Modelle und die allgemeinen Grundlagen.