Der Profi mit vertraulichen Unterlagen — « Meine Dateien verlassen meinen Rechner nicht. »
Jurist, Arzt, Personalverantwortlicher, Berater, Steuerberater, Notar – Ihre Dokumente unterliegen dem Berufsgeheimnis oder einer NDA. Ein lokales LLM in Verbindung mit RAG ermöglicht es Ihnen, Fragen zu diesen Dokumenten zu stellen, sie zusammenzufassen, zu vergleichen und Angaben darin abzugleichen, ohne jemals etwas hochzuladen. Und ohne Kommandozeile.
Am Ende läuft LM Studio mit einer ausgereiften grafischen Oberfläche (kein Terminal). Ein Modell mit 12 bis 27B wird geladen. Ein Ordner mit PDFs wird über AnythingLLM oder die integrierte Funktion „Documents“ indexiert. Sie können Ihren Archiven Fragen auf Französisch stellen, exakte Zitate mit Seitenzahl erhalten und eine Zusammenfassung exportieren — ohne dass auch nur ein Byte Ihren Rechner verlässt.
Für wen dieser Lernpfad gedacht ist
Wir sagen es Ihnen lieber frühzeitig, als Sie 30 Minuten umsonst verschwenden zu lassen.
- ✓Ihre Dokumente unterliegen der beruflichen Schweigepflicht (Rechtsanwalt, Arzt, Notar, Wirtschaftsprüfer).
- ✓Sie arbeiten unter einer NDA, und Cloud-Tools sind vertraglich verboten.
- ✓Sie verwalten personenbezogene Daten, die der DSGVO unterliegen – Datenübertragungen in Länder außerhalb der EU zu vermeiden, ist zwingend erforderlich.
- ✓Sie möchten eine saubere und übersichtliche Benutzeroberfläche, keinen Befehl im Terminal.
- ✓Sie haben 100 bis 10.000 PDF-Dateien, die Sie abfragen möchten, ohne sie jedes Mal erneut hochzuladen.
- ·Ihre Daten sind öffentlich und Sie möchten einfach nur einen Assistenten: Ein Cloud-Dienst ist dann unkomplizierter.
- ·Sie verwalten Terabyte an Dokumenten: Sie benötigen eine Bereitstellung auf einem Server, keine Workstation.
- ·Wenn Sie Hunderte von Dokumenten pro Sekunde in Echtzeit verarbeiten möchten, reicht ein einfaches RAG-System nicht aus – sehen Sie sich vLLM oder TGI an.
Der Lernpfad in 5 Schritten
Jeder Schritt verweist auf einen detaillierten Leitfaden, den Sie parallel lesen können. Die Reihenfolge ist optimiert: Überspringen Sie beim ersten Mal keinen Schritt.
- 1Schritt 01·5 Min.·Einsteiger
LM Studio installieren
Klassischer Installer für Windows, macOS oder Linux. Vollständige grafische Oberfläche: Suche, Herunterladen von Modellen, Chat, Einstellungen – ohne jemals ein Terminal öffnen zu müssen.
LM Studio ist installiert, Sie sehen die Modellgalerie.Leitfaden lesen → - 2Schritt 02·8 min·Mittelstufe
Ein Modell mit 12 bis 27B wählen
Gemma 4 12B, wenn Sie 12 bis 16 GB VRAM haben (in Q8 mit 16 GB). Qwen 3.8 27B in Q4 mit 24 GB. Direkter Download in der App, automatische Integritätsprüfung.
Ein robustes Modell für die Textanalyse ist in den Speicher geladen.Leitfaden lesen → - 3Schritt 03·20 Min.·Einsteiger
Ihre Dokumente indexieren
AnythingLLM oder Open WebUI für den RAG-Teil. Einen Ordner angeben, ein französisches Embedding-Modell (Solon, BGE-M3) auswählen, die Indexierung starten. Alles bleibt auf dem Datenträger.
Ihre PDF-Dateien werden in einer lokalen Vektordatenbank (ChromaDB) indiziert.Leitfaden lesen → - 4Schritt 04·8 min·Einsteiger
Netzwerkisolierung überprüfen
Eine Checkliste: mit Wireshark bestätigen, dass keine Daten nach außen gelangen, etwaige Telemetriefunktionen deaktivieren, den Modellordner verschlüsseln, eine verschlüsselte lokale Sicherung erstellen.
Überprüftes Vertrauen: keine ausgehenden Netzwerkpakete während der Nutzung.Leitfaden lesen → - +Schritt bonus·15 min·Fortgeschritten
Bonus — vollständiger Air-Gap-Betrieb
Für die sensibelsten Unterlagen: eine Firewall-Regel, die alle ausgehenden Verbindungen außer automatischen Systemupdates blockiert. Das ist eine doppelte Absicherung.
Für sensible Sitzungen als offline zertifizierter Rechner.Leitfaden lesen →
Empfohlene Modelle
Drei Optionen für diese Anleitung – vom leichtesten bis zum leistungsfähigsten. Klicken Sie für das ausführliche Datenblatt (VRAM, Kontext, Benchmarks).
Die richtige Standardwahl mit 12 bis 16 GB: Zusammenfassung und Extraktion für Ihre Dokumente, Lizenz Apache 2.0. Prüfen Sie die Qualität auf Französisch anhand Ihrer eigenen Texte.
Zur Detailseite →Mit 24 GB VRAM oder einem Mac mit 32 GB: das stärkste der drei im Artificial-Analysis-Index; an Ihren eigenen Dokumenten zu überprüfen.
Zur Detailseite →Für einen Rechner mit 96 bis 128 GB (GB10, Mac mit 128 GB): ein schnelles MoE, Apache-2.0-Lizenz.
Zur Detailseite →Häufig gestellte Fragen
Die tatsächlichen Fragen, die uns per E-Mail und auf Mastodon gestellt werden. Falls Ihre fehlt, erstellen Sie ein Ticket.
Der Neugierige — « Ich möchte es einfach ausprobieren, ohne großen Aufwand. »
Sie haben von lokalen LLMs gehört und möchten sehen, was sie auf Ihrem Rechner leisten. Kein Code, keine komplizierte Kommandozeile — in 15 Minuten chatten Sie mit Ihrem…
Ihre Dokumente, Ihre KI: ein zuverlässiges lokales RAG für Ihre PDFs, Notizen und E-Mails – ohne Daten in die Cloud zu senden.
- Lebenslanger Online-Zugang
- PDF + Dateien
- Erstattung binnen 30 Tagen
Eine Frage, ein Tippfehler, ein Bug?
Dieser Lernpfad entwickelt sich mit jeder Modellveröffentlichung weiter. Ihre Rückmeldungen bilden die Grundlage.