Pfad 03 · Für die Arbeit

Der Profi mit vertraulichen Unterlagen — « Meine Dateien verlassen meinen Rechner nicht. »

Jurist, Arzt, Personalverantwortlicher, Berater, Steuerberater, Notar – Ihre Dokumente unterliegen dem Berufsgeheimnis oder einer NDA. Ein lokales LLM in Verbindung mit RAG ermöglicht es Ihnen, Fragen zu diesen Dokumenten zu stellen, sie zusammenzufassen, zu vergleichen und Angaben darin abzugleichen, ohne jemals etwas hochzuladen. Und ohne Kommandozeile.

Gesamtdauer
~45 Min.
Erforderliches Kompetenzniveau
Keine technischen Vorkenntnisse erforderlich
Kosten
0 €
Maschinentyp
PC oder Mac mit 16 GB RAM (32 GB empfohlen)
↑
Unser Versprechen

Am Ende läuft LM Studio mit einer ausgereiften grafischen Oberfläche (kein Terminal). Ein Modell mit 12 bis 27B wird geladen. Ein Ordner mit PDFs wird über AnythingLLM oder die integrierte Funktion „Documents“ indexiert. Sie können Ihren Archiven Fragen auf Französisch stellen, exakte Zitate mit Seitenzahl erhalten und eine Zusammenfassung exportieren — ohne dass auch nur ein Byte Ihren Rechner verlässt.

Für wen dieser Lernpfad gedacht ist

Wir sagen es Ihnen lieber frühzeitig, als Sie 30 Minuten umsonst verschwenden zu lassen.

✓ Das passt zu Ihnen, wenn
  • ✓Ihre Dokumente unterliegen der beruflichen Schweigepflicht (Rechtsanwalt, Arzt, Notar, Wirtschaftsprüfer).
  • ✓Sie arbeiten unter einer NDA, und Cloud-Tools sind vertraglich verboten.
  • ✓Sie verwalten personenbezogene Daten, die der DSGVO unterliegen – Datenübertragungen in Länder außerhalb der EU zu vermeiden, ist zwingend erforderlich.
  • ✓Sie möchten eine saubere und übersichtliche Benutzeroberfläche, keinen Befehl im Terminal.
  • ✓Sie haben 100 bis 10.000 PDF-Dateien, die Sie abfragen möchten, ohne sie jedes Mal erneut hochzuladen.
✕ Sehen Sie sich anderweitig um, wenn
  • ·Ihre Daten sind öffentlich und Sie möchten einfach nur einen Assistenten: Ein Cloud-Dienst ist dann unkomplizierter.
  • ·Sie verwalten Terabyte an Dokumenten: Sie benötigen eine Bereitstellung auf einem Server, keine Workstation.
  • ·Wenn Sie Hunderte von Dokumenten pro Sekunde in Echtzeit verarbeiten möchten, reicht ein einfaches RAG-System nicht aus – sehen Sie sich vLLM oder TGI an.

Der Lernpfad in 5 Schritten

Jeder Schritt verweist auf einen detaillierten Leitfaden, den Sie parallel lesen können. Die Reihenfolge ist optimiert: Überspringen Sie beim ersten Mal keinen Schritt.

Gesamt · ~45 Min.
  1. 1
    Schritt 01·5 Min.·Einsteiger

    LM Studio installieren

    Klassischer Installer für Windows, macOS oder Linux. Vollständige grafische Oberfläche: Suche, Herunterladen von Modellen, Chat, Einstellungen – ohne jemals ein Terminal öffnen zu müssen.

    LM Studio ist installiert, Sie sehen die Modellgalerie.
    Leitfaden lesen →
  2. 2
    Schritt 02·8 min·Mittelstufe

    Ein Modell mit 12 bis 27B wählen

    Gemma 4 12B, wenn Sie 12 bis 16 GB VRAM haben (in Q8 mit 16 GB). Qwen 3.8 27B in Q4 mit 24 GB. Direkter Download in der App, automatische Integritätsprüfung.

    Ein robustes Modell für die Textanalyse ist in den Speicher geladen.
    Leitfaden lesen →
  3. 3
    Schritt 03·20 Min.·Einsteiger

    Ihre Dokumente indexieren

    AnythingLLM oder Open WebUI für den RAG-Teil. Einen Ordner angeben, ein französisches Embedding-Modell (Solon, BGE-M3) auswählen, die Indexierung starten. Alles bleibt auf dem Datenträger.

    Ihre PDF-Dateien werden in einer lokalen Vektordatenbank (ChromaDB) indiziert.
    Leitfaden lesen →
  4. 4
    Schritt 04·8 min·Einsteiger

    Netzwerkisolierung überprüfen

    Eine Checkliste: mit Wireshark bestätigen, dass keine Daten nach außen gelangen, etwaige Telemetriefunktionen deaktivieren, den Modellordner verschlüsseln, eine verschlüsselte lokale Sicherung erstellen.

    Überprüftes Vertrauen: keine ausgehenden Netzwerkpakete während der Nutzung.
    Leitfaden lesen →
  5. +
    Schritt bonus·15 min·Fortgeschritten

    Bonus — vollständiger Air-Gap-Betrieb

    Für die sensibelsten Unterlagen: eine Firewall-Regel, die alle ausgehenden Verbindungen außer automatischen Systemupdates blockiert. Das ist eine doppelte Absicherung.

    Für sensible Sitzungen als offline zertifizierter Rechner.
    Leitfaden lesen →

Empfohlene Modelle

Drei Optionen für diese Anleitung – vom leichtesten bis zum leistungsfähigsten. Klicken Sie für das ausführliche Datenblatt (VRAM, Kontext, Benchmarks).

Häufig gestellte Fragen

Die tatsächlichen Fragen, die uns per E-Mail und auf Mastodon gestellt werden. Falls Ihre fehlt, erstellen Sie ein Ticket.

Ja, konstruktionsbedingt: Es werden keine Daten an einen Auftragsverarbeiter übermittelt. Sie bleiben der alleinige Verantwortliche für die Datenverarbeitung. Achten Sie lediglich auf die Festplattenverschlüsselung (BitLocker, FileVault, LUKS) und die Richtlinie zur Löschung von Gesprächen.
Nach Abschluss dieses Parcours
Nächster Lernpfad

Der Neugierige — « Ich möchte es einfach ausprobieren, ohne großen Aufwand. »

Sie haben von lokalen LLMs gehört und möchten sehen, was sie auf Ihrem Rechner leisten. Kein Code, keine komplizierte Kommandozeile — in 15 Minuten chatten Sie mit Ihrem…

→
Das Kit Lokales RAG

Ihre Dokumente, Ihre KI: ein zuverlässiges lokales RAG für Ihre PDFs, Notizen und E-Mails – ohne Daten in die Cloud zu senden.

  • Lebenslanger Online-Zugang
  • PDF + Dateien
  • Erstattung binnen 30 Tagen

Eine Frage, ein Tippfehler, ein Bug?

Dieser Lernpfad entwickelt sich mit jeder Modellveröffentlichung weiter. Ihre Rückmeldungen bilden die Grundlage.