Der Entwickler — « Lokaler Copilot, 100 % offline, 0 Cloud-Latenz. »
Qwen 3.8 27B für Chat und Agent, ein kleines Qwen2.5-Coder „base“ für die Autovervollständigung, angebunden an VS Code über Continue.dev. Autovervollständigung, Chat, Refactoring einer ganzen Datei – ohne dass eine Zeile Ihres Codes zu Microsoft, OpenAI oder Anthropic abfließt. Ihr PR enthält einen API-Schlüssel? Er bleibt dort.
Am Ende dieser Anleitung haben Sie einen im Hintergrund laufenden llama.cpp-Server mit Qwen 3.8 27B in Q4-Quantisierung für den Chat und einem kleinen Qwen2.5-Coder base (1.5B) für die Autovervollständigung (FIM). Continue.dev ist dann mit VS Code verbunden, mit Autovervollständigung und Chat in der Seitenleiste.
Für wen dieser Lernpfad gedacht ist
Wir sagen es Ihnen lieber frühzeitig, als Sie 30 Minuten umsonst verschwenden zu lassen.
- ✓Sie programmieren täglich und haben es satt, Ihre Snippets in eine Web-UI zu kopieren.
- ✓Ihr Arbeitgeber verbietet GitHub Copilot, ChatGPT, Cursor – aus gutem Grund.
- ✓Sie arbeiten an proprietärem Code, unter einer Geheimhaltungsvereinbarung (NDA) oder mit API-Geheimnissen im Klartext.
- ✓Sie verfügen über eine RTX 4070 Ti+, RTX 4090, RTX 5090 oder ein MacBook Pro M2/M3/M4 mit mindestens 32 GB.
- ✓Der 200-ms-Ping zu den Cloud-APIs bringt Ihren Arbeitsfluss aus dem Takt.
- ·Sie haben 8 GB VRAM: Mit Qwen 3.5 9B ist das machbar, liegt aber deutlich unter dem Niveau der Cloud-Assistenten.
- ·Sie programmieren 1h pro Woche: Ein kostenloses Konto bei einem Cloud-Anbieter ist weniger Aufwand.
- ·Sie möchten einen allgemeinen Chat-Assistenten nutzen: Sehen Sie sich den einfacheren Lernpfad für Neugierige an.
Der Lernpfad in 4 Schritten
Jeder Schritt verweist auf einen detaillierten Leitfaden, den Sie parallel lesen können. Die Reihenfolge ist optimiert: Überspringen Sie beim ersten Mal keinen Schritt.
- 1Schritt 01·12 Min.·Fortgeschritten
llama.cpp mit GPU-Beschleunigung kompilieren
Aus dem Quellcode kompilieren, um die maximale Tokenrate zu erreichen. Auf NVIDIA: CUDA. Auf Apple Silicon: Metal. Auf AMD: ROCm. Das ist 15 bis 30 % schneller als Ollama.
Die ausführbare Datei llama-server ist bereit und kann eine OpenAI-kompatible API bereitstellen.Leitfaden lesen → - 2Schritt 02·6 Min.·Mittelstufe
Qwen 3.8 27B (Q4) und ein Autovervollständigungsmodell herunterladen
Qwen 3.8 27B führt den Artificial-Analysis-Index für Modelle mit 4 bis 40 Milliarden Parametern an (Oktober 2026): 18 GB in Q4_K_M, für eine Karte mit 24 GB. Mit 16 GB nehmen Sie Gemma 4 12B. Die Autovervollständigung mitten in einer Zeile (FIM) erfordert ein eigenes „Base“-Modell: Qwen2.5-Coder 1.5B Base (1 GB) neben Qwen 3.8 27B, das 7B Base (4,7 GB), wenn noch Speicher übrig ist. Download über Hugging Face.
Das Modell wird unter localhost:8080 im Chat-Completions-Format bereitgestellt.Leitfaden lesen → - 3Schritt 03·8 min·Mittelstufe
Continue.dev mit VSCode verbinden
Die Continue-Erweiterung aus dem Marketplace installieren, ~/.continue/config.json bearbeiten, sodass die Konfiguration auf Ihren lokalen Endpunkt verweist, und das FIM-Modell für die Autovervollständigung konfigurieren.
Tab, um einen Vorschlag anzunehmen, Cmd+L, um den Chat zur Auswahl zu öffnen.Leitfaden lesen → - +Schritt bonus·4 Min.·Fortgeschritten
Bonus — Aider auf der Kommandozeile
Für umfangreichere Aufgaben (Refactoring eines Moduls, Generierung von Tests) ermöglicht Aider das Bearbeiten von Dateien in natürlicher Sprache über das Terminal, mit automatischen Git-Commits.
Eine agentische CLI, die an dasselbe Backend angebunden ist und Continue ergänzt.Leitfaden lesen →
Empfohlene Modelle
Drei Optionen für diese Anleitung – vom leichtesten bis zum leistungsfähigsten. Klicken Sie für das ausführliche Datenblatt (VRAM, Kontext, Benchmarks).
Für die Autovervollständigung (FIM), in der Base-Version: 4,7 GB; neben Qwen 3.8 27B auf 24 GB nehmen Sie das 1.5B Base (1 GB). ollama pull qwen2.5-coder:7b-base.
Zur Detailseite →Chat und Coding-Agent (Cline, Aider, OpenCode) mit 24 GB VRAM: 18 GB in Q4. Mit 16 GB: Gemma 4 12B.
Zur Detailseite →Mit 32 GB oder mehr: ein schnelles MoE (3B aktive Parameter) für lange Agentenschleifen.
Zur Detailseite →Häufig gestellte Fragen
Die tatsächlichen Fragen, die uns per E-Mail und auf Mastodon gestellt werden. Falls Ihre fehlt, erstellen Sie ein Ticket.
Der Profi mit vertraulichen Unterlagen — « Meine Dateien verlassen meinen Rechner nicht. »
Jurist, Arzt, Personalverantwortlicher, Berater, Wirtschaftsprüfer, Notar — Ihre Dokumente unterliegen der beruflichen Schweigepflicht oder einem NDA. Ein lokales LLM in Verbindung mit einem RAG ermöglicht es Ihnen, sie abzufragen, zusammenzufassen,…
Ersetzen Sie GitHub Copilot und Cursor durch einen 100 % lokalen Code-Copiloten — der Referenzleitfaden, inklusive Konfigurationen.
- Lebenslanger Online-Zugang
- PDF + Dateien
- Erstattung binnen 30 Tagen
Eine Frage, ein Tippfehler, ein Bug?
Dieser Lernpfad entwickelt sich mit jeder Modellveröffentlichung weiter. Ihre Rückmeldungen bilden die Grundlage.