Pfad 02 · Zum Programmieren

Der Entwickler — « Lokaler Copilot, 100 % offline, 0 Cloud-Latenz. »

Qwen 3.8 27B für Chat und Agent, ein kleines Qwen2.5-Coder „base“ für die Autovervollständigung, angebunden an VS Code über Continue.dev. Autovervollständigung, Chat, Refactoring einer ganzen Datei – ohne dass eine Zeile Ihres Codes zu Microsoft, OpenAI oder Anthropic abfließt. Ihr PR enthält einen API-Schlüssel? Er bleibt dort.

Gesamtdauer
~30 Min.
Erforderliches Kompetenzniveau
Sicher im Umgang mit einem Terminal
Kosten
0 €
Maschinentyp
GPU mit 24 GB (16 GB mit Gemma 4 12B) oder Mac mit 32 GB+
↑
Unser Versprechen

Am Ende dieser Anleitung haben Sie einen im Hintergrund laufenden llama.cpp-Server mit Qwen 3.8 27B in Q4-Quantisierung für den Chat und einem kleinen Qwen2.5-Coder base (1.5B) für die Autovervollständigung (FIM). Continue.dev ist dann mit VS Code verbunden, mit Autovervollständigung und Chat in der Seitenleiste.

Für wen dieser Lernpfad gedacht ist

Wir sagen es Ihnen lieber frühzeitig, als Sie 30 Minuten umsonst verschwenden zu lassen.

✓ Das passt zu Ihnen, wenn
  • ✓Sie programmieren täglich und haben es satt, Ihre Snippets in eine Web-UI zu kopieren.
  • ✓Ihr Arbeitgeber verbietet GitHub Copilot, ChatGPT, Cursor – aus gutem Grund.
  • ✓Sie arbeiten an proprietärem Code, unter einer Geheimhaltungsvereinbarung (NDA) oder mit API-Geheimnissen im Klartext.
  • ✓Sie verfügen über eine RTX 4070 Ti+, RTX 4090, RTX 5090 oder ein MacBook Pro M2/M3/M4 mit mindestens 32 GB.
  • ✓Der 200-ms-Ping zu den Cloud-APIs bringt Ihren Arbeitsfluss aus dem Takt.
✕ Sehen Sie sich anderweitig um, wenn
  • ·Sie haben 8 GB VRAM: Mit Qwen 3.5 9B ist das machbar, liegt aber deutlich unter dem Niveau der Cloud-Assistenten.
  • ·Sie programmieren 1h pro Woche: Ein kostenloses Konto bei einem Cloud-Anbieter ist weniger Aufwand.
  • ·Sie möchten einen allgemeinen Chat-Assistenten nutzen: Sehen Sie sich den einfacheren Lernpfad für Neugierige an.

Der Lernpfad in 4 Schritten

Jeder Schritt verweist auf einen detaillierten Leitfaden, den Sie parallel lesen können. Die Reihenfolge ist optimiert: Überspringen Sie beim ersten Mal keinen Schritt.

Gesamt · ~30 Min.
  1. 1
    Schritt 01·12 Min.·Fortgeschritten

    llama.cpp mit GPU-Beschleunigung kompilieren

    Aus dem Quellcode kompilieren, um die maximale Tokenrate zu erreichen. Auf NVIDIA: CUDA. Auf Apple Silicon: Metal. Auf AMD: ROCm. Das ist 15 bis 30 % schneller als Ollama.

    Die ausführbare Datei llama-server ist bereit und kann eine OpenAI-kompatible API bereitstellen.
    Leitfaden lesen →
  2. 2
    Schritt 02·6 Min.·Mittelstufe

    Qwen 3.8 27B (Q4) und ein Autovervollständigungsmodell herunterladen

    Qwen 3.8 27B führt den Artificial-Analysis-Index für Modelle mit 4 bis 40 Milliarden Parametern an (Oktober 2026): 18 GB in Q4_K_M, für eine Karte mit 24 GB. Mit 16 GB nehmen Sie Gemma 4 12B. Die Autovervollständigung mitten in einer Zeile (FIM) erfordert ein eigenes „Base“-Modell: Qwen2.5-Coder 1.5B Base (1 GB) neben Qwen 3.8 27B, das 7B Base (4,7 GB), wenn noch Speicher übrig ist. Download über Hugging Face.

    Das Modell wird unter localhost:8080 im Chat-Completions-Format bereitgestellt.
    Leitfaden lesen →
  3. 3
    Schritt 03·8 min·Mittelstufe

    Continue.dev mit VSCode verbinden

    Die Continue-Erweiterung aus dem Marketplace installieren, ~/.continue/config.json bearbeiten, sodass die Konfiguration auf Ihren lokalen Endpunkt verweist, und das FIM-Modell für die Autovervollständigung konfigurieren.

    Tab, um einen Vorschlag anzunehmen, Cmd+L, um den Chat zur Auswahl zu öffnen.
    Leitfaden lesen →
  4. +
    Schritt bonus·4 Min.·Fortgeschritten

    Bonus — Aider auf der Kommandozeile

    Für umfangreichere Aufgaben (Refactoring eines Moduls, Generierung von Tests) ermöglicht Aider das Bearbeiten von Dateien in natürlicher Sprache über das Terminal, mit automatischen Git-Commits.

    Eine agentische CLI, die an dasselbe Backend angebunden ist und Continue ergänzt.
    Leitfaden lesen →

Empfohlene Modelle

Drei Optionen für diese Anleitung – vom leichtesten bis zum leistungsfähigsten. Klicken Sie für das ausführliche Datenblatt (VRAM, Kontext, Benchmarks).

Häufig gestellte Fragen

Die tatsächlichen Fragen, die uns per E-Mail und auf Mastodon gestellt werden. Falls Ihre fehlt, erstellen Sie ein Ticket.

Bei der Zeilen-Autovervollständigung erledigt ein kleines lokales Basismodell die alltägliche Arbeit gut. Bei Chat und Agent behalten die besten Cloud-Modelle bei langen Aufgaben die Oberhand; Qwen 3.8 27B verringert den Abstand. Und Sie behalten die Kontrolle über Ihre Daten.
Nach Abschluss dieses Parcours
Nächster Lernpfad

Der Profi mit vertraulichen Unterlagen — « Meine Dateien verlassen meinen Rechner nicht. »

Jurist, Arzt, Personalverantwortlicher, Berater, Wirtschaftsprüfer, Notar — Ihre Dokumente unterliegen der beruflichen Schweigepflicht oder einem NDA. Ein lokales LLM in Verbindung mit einem RAG ermöglicht es Ihnen, sie abzufragen, zusammenzufassen,…

→
Das Kit „Lokaler Copilot“

Ersetzen Sie GitHub Copilot und Cursor durch einen 100 % lokalen Code-Copiloten — der Referenzleitfaden, inklusive Konfigurationen.

  • Lebenslanger Online-Zugang
  • PDF + Dateien
  • Erstattung binnen 30 Tagen

Eine Frage, ein Tippfehler, ein Bug?

Dieser Lernpfad entwickelt sich mit jeder Modellveröffentlichung weiter. Ihre Rückmeldungen bilden die Grundlage.