DeepSeek V4 Flash 284B : der 1. frontier, der auf Mac läuft Studio

#DeepSeek V4 Flash kurz erklärt

Erscheinungsdatum

24. April 2026, gleichzeitig mit V4 Pro. Verfügbar auf HuggingFace: deepseek-ai/DeepSeek-V4-Flash.

Architektur

MoE mit insgesamt 284 Milliarden Parametern, davon 13 Milliarden pro Token aktiv. 128 Experten pro Schicht, Top-8-Routing. Base- und Instruct-Varianten verfügbar.

Vom Pro übernommene Innovationen

CSA+HCA-Attention, mHC, Muon-Optimierer, gemischtes FP4+FP8-Training.

Kontext

1.000.000 native Tokens (wie bei Pro).

Denkmodi

3 Stufen: Non / High / Max – per Prompt umschaltbar.

Lizenz

MIT, dieselbe Lizenz wie beim Pro. Keine Einschränkungen der kommerziellen Nutzung und keine geografischen Einschränkungen.

#1. Warum das ein besonderes Ereignis ist

Vor dem 24. April 2026 bedeutete ein lokal ausgeführtes Frontier-Modell entweder einen GPU-Cluster für mehr als 80.000 € oder Abstriche bei der Qualität mit einem 70B-Modell. DeepSeek V4 Flash ändert das: 170 GB in Q4 passen auf Konfigurationen aus gebrauchter Hardware für 4.000 bis 8.000 €.

Mac Studio M3 Ultra 256 GB

Bis September 2026 für 7.299 € im Katalog, inzwischen gebraucht erhältlich (bei Apple durch den M5 Ultra mit 256 GB ersetzt). 170 GB für das Modell + 30 GB für den Kontext = passt mit reichlich Spielraum in den Speicher. ~10–12 Tokens/s in Q4.

2× RTX 5090 32 GB (64 GB VRAM)

≈ 11.400 €. Unzureichend – es fehlen ~110 GB. Mit CPU-Offload möglich, aber langsam (3–5 Tokens/s).

4× RTX A6000 48 GB (192 GB VRAM)

~12.000 € gebraucht. Das Modell passt mit ausreichend Spielraum in den Speicher, ~18–25 Tokens/s.

Workstation 2× Mac Studio Max 64 GB

Im Einzelbetrieb nicht ausreichend. Mit llama.cpp RPC swarm und 4× Mac Studio: möglich, ~5 tok/s.

#2. Architektur (effiziente Variante von V4)

V4 Flash ist eine proportional verkleinerte Version von V4 Pro: etwa ein 5,7-tel der Experten und ein 3,8-tel der aktiven Parameter, aber dieselbe Grundstruktur CSA+HCA + Muon + FP4/FP8. Diese Einheitlichkeit ermöglicht es V4 Flash, die Qualität von Pro zu deutlich geringeren Kosten zu übernehmen.

Experten pro Schicht

128 (im Vergleich zu 256 für Pro). Top-8-Routing ist identisch.

Aktive Parameter

13B (gegenüber 49B bei Pro). Bei gleicher Gesamtzahl an Parametern ist die Inferenzgeschwindigkeit etwa 3,8-mal so hoch.

Schichten

61 (Pro: 76). Moderate Reduktion, um die Tiefe des Denkens zu erhalten.

Attention-Heads

Identisch mit Pro (CSA+HCA identisch konfiguriert). Keine Einsparungen bei der Attention, um die Qualität bei langen Kontexten zu erhalten.

Vorabtraining

Ziel: „efficient reasoning“; 18T Tokens (gegenüber 32T bei Pro), mit einem für Mathematik und Code optimierten Datenmix.

#3. Hardware je nach Quantisierung

#4. Mac Studio Ultra 256/512 GB einrichten

# 1. Relever la mémoire GPU allouable
sudo sysctl iogpu.wired_limit_mb=240640    # 256 Go : 235 Go GPU
# Ou pour Mac Studio 512 Go :
# sudo sysctl iogpu.wired_limit_mb=491520

# Persistant
echo "iogpu.wired_limit_mb=240640" | sudo tee -a /etc/sysctl.conf

# 2. llama.cpp avec Metal + Flash Attention
git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp
make GGML_METAL=1 LLAMA_METAL_EMBED_LIBRARY=1

# 3. Téléchargement Q4_K_M (~170 Go split en chunks)
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash-GGUF \
  --include "*Q4_K_M*.gguf" \
  --local-dir ./models

# 4. Lancement avec optimisations max
./build/bin/llama-server \
  -m ./models/DeepSeek-V4-Flash-Q4_K_M-00001-of-00004.gguf \
  -ngl 99 -fa \
  -ctk q8_0 -ctv q8_0 \
  -c 65536 \
  --host 0.0.0.0 --port 8080

#5. Setup mehrerer NVIDIA-GPUs

#Option A — vLLM 4× RTX A6000 (48 GB × 4 = 192 GB)

pip install vllm>=0.7

vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 4 \
  --quantization fp8 \
  --max-model-len 1000000 \
  --enable-prefix-caching \
  --port 8000

#Option B — llama.cpp mit teilweisem Offload

./build/bin/llama-server \
  -m ./models/DeepSeek-V4-Flash-Q4_K_M-00001-of-00004.gguf \
  -ngl 50 \
  --tensor-split 0.5,0.5 \
  -ctk q8_0 -ctv q8_0 \
  -c 32768

#6. Benchmarks und gemessene Tokens/s

#7. Denkmodi und langer Kontext

V4 Flash übernimmt die drei Thinking-Modi von V4 Pro bei etwas geringerer Qualität, aber deutlich niedrigeren Inferenzkosten. Es ist die richtige Wahl für Agenten, die Schlussfolgerungen ziehen müssen, ohne eine Infrastruktur vollständig für sich zu beanspruchen.

Modus „Non“

Direkte Antwort. Sehr niedrige Latenz (~1 s bis zum Beginn des Streamings). Für dialogorientierte Chats und Übersetzungen.

Modus High

200 bis 2000 Chain-of-Thought-Tokens vor der Antwort. +25 % Qualität bei Mathematik/Code. Latenz von 5 bis 15 Sekunden bis zum ersten Token der endgültigen Antwort.

Max-Modus

Bis zu 16.000 Tokens für das Nachdenken. Latenz bei lokaler Ausführung: 1–5 Minuten. Anspruchsvollen Problemen vorbehalten (mathematische Beweise, komplexes Debugging).

Langer Kontext: 1M

Gleiche Fähigkeiten wie V4 Pro dank HCA – Needle-in-Haystack 1M ~95 % (gegenüber 98 % bei Pro). Hervorragend für RAG auf großen Datenbeständen.

#V4 Flash vs V4 Pro: wählen

#Am 31. Juli 2026 offiziell vorgestellt (Build 0731)

DeepSeek hat V4-Flash Ende Juli 2026 mit dem Build „0731“ aus der Preview-Phase herausgeführt: Die API ist in der öffentlichen Beta, und zugleich sinkt der Preis für Ausgabetokens von V4-Pro um 75 % (0,87 $ pro Million Ausgabetokens). Artificial Analysis ordnet die V4-Familie wieder „unter den führenden Open-Weight-Modellen“ ein. An den Modellgewichten ändert sich nichts: insgesamt 284 Milliarden Parameter, davon 13 Milliarden aktiv — weiterhin die einzige V4-Variante, die sich mit aggressiver Quantisierung auf lokalen High-End-Systemen (Mac mit 256 GB, Strix Halo, mehrere GPUs) einigermaßen betreiben lässt.

Seit dem 2. August bietet LM Studio es ebenfalls an: lokal, wenn Ihre Maschine leistungsfähig genug ist, oder über die Bionic-App auf US-amerikanischen Servern mit „Zero Data Retention“ als Standard – ein Kompromiss, den Sie kennen sollten, auch wenn die Philosophie dieser Website weiterhin auf einem zu 100 % lokalen Betrieb beruht.

#FAQ

Die Preise ändern sich schnell: Unser Tracking erfasst jeden Montag und Donnerstag den niedrigsten Preis für GPUs für lokale KI, einschließlich des Preises pro GB VRAM.

• Preise für Grafikkarten für lokale KI (zweimal pro Woche aktualisiert)