Pfad 03 · Für die Arbeit

Der Profi mit vertraulichen Unterlagen — « Meine Akten verlassen meinen Rechner nicht. »

Jurist, Arzt, Personalverantwortlicher, Berater, Steuerberater, Notar – Ihre Dokumente unterliegen dem Berufsgeheimnis oder einer NDA. Ein lokales LLM in Verbindung mit RAG ermöglicht es Ihnen, Fragen zu diesen Dokumenten zu stellen, sie zusammenzufassen, zu vergleichen und Angaben darin abzugleichen, ohne jemals etwas hochzuladen. Und ohne Kommandozeile.

Gesamtdauer
~45 min
Erforderliches Kompetenzniveau
Keine technischen Voraussetzungen
Kosten
0 €
Maschinentyp
PC oder Mac mit 16 GB RAM (32 GB empfohlen)
↑
Unser Versprechen

Am Ende läuft LM Studio mit einer ausgereiften grafischen Benutzeroberfläche (ohne Terminal). Ein Modell mit 13–24 Milliarden Parametern ist geladen. Ein Ordner mit PDF-Dateien ist über AnythingLLM oder die integrierte Dokumentenfunktion indiziert. Sie können Ihren Archiven Fragen auf Französisch stellen, exakte Zitate mit Seitenzahl erhalten und eine Zusammenfassung exportieren – ohne dass ein einziges Byte Ihren Rechner verlässt.

Für wen dieser Lernpfad gedacht ist

Wir sagen es Ihnen lieber frühzeitig, als Sie 30 Minuten umsonst verschwenden zu lassen.

✓ Das passt zu Ihnen, wenn
  • ✓Ihre Dokumente unterliegen der beruflichen Schweigepflicht (Rechtsanwalt, Arzt, Notar, Wirtschaftsprüfer).
  • ✓Sie arbeiten unter NDA und Cloud-Tools sind vertraglich verboten.
  • ✓Sie verwalten personenbezogene Daten, die der DSGVO unterliegen – Datenübertragungen in Länder außerhalb der EU zu vermeiden, ist zwingend erforderlich.
  • ✓Sie möchten eine saubere und klare UI, nicht einen Befehl im Terminal.
  • ✓Sie haben 100 bis 10.000 PDF-Dateien, die Sie abfragen möchten, ohne sie jedes Mal erneut hochzuladen.
✕ Sehen Sie sich anderweitig um, wenn
  • ·Ihre Daten sind öffentlich und Sie möchten nur einen Assistenten: Ein Cloud-Dienst ist einfacher.
  • ·Sie verwalten Terabyte an Dokumenten: Sie benötigen eine Bereitstellung auf einem Server, keine Workstation.
  • ·Wenn Sie Hunderte von Dokumenten pro Sekunde in Echtzeit verarbeiten möchten, reicht ein einfaches RAG-System nicht aus – sehen Sie sich vLLM oder TGI an.

Der Lernpfad in 5 Schritten

Jeder Schritt verweist auf einen detaillierten Leitfaden, den Sie parallel lesen können. Die Reihenfolge ist optimiert: Überspringen Sie beim ersten Mal keinen Schritt.

Kumulativ · ~45 min
  1. 1
    Schritt 01·5 Min.·Einsteiger

    LM Studio installieren

    Klassischer Installer für Windows, macOS oder Linux. Vollständige grafische Oberfläche: Suche, Herunterladen von Modellen, Chat, Einstellungen – ohne jemals ein Terminal öffnen zu müssen.

    LM Studio ist installiert, Sie sehen die Modellgalerie.
    Leitfaden lesen →
  2. 2
    Schritt 02·8 min·Mittelstufe

    Ein Modell mit 13–24 Milliarden Parametern wählen

    Mistral Small 24B in Q4, wenn Sie 16 GB VRAM haben. Qwen2.5 14B in Q4, wenn Sie 12 GB haben. Direkter Download in der App, automatische Integritätsprüfung.

    Ein robustes Modell für die Textanalyse ist in den Speicher geladen.
    Leitfaden lesen →
  3. 3
    Schritt 03·20 Min.·Einsteiger

    Ihre Dokumente indexieren

    AnythingLLM oder Open WebUI für den RAG-Teil. Einen Ordner angeben, ein französisches Embedding-Modell (Solon, BGE-M3) auswählen, die Indexierung starten. Alles bleibt auf dem Datenträger.

    Ihre PDF-Dateien werden in einer lokalen Vektordatenbank (ChromaDB) indiziert.
    Leitfaden lesen →
  4. 4
    Schritt 04·8 min·Einsteiger

    Netzwerkisolation prüfen

    Eine Checkliste: mit Wireshark bestätigen, dass keine Daten nach außen gelangen, etwaige Telemetriefunktionen deaktivieren, den Modellordner verschlüsseln, eine verschlüsselte lokale Sicherung erstellen.

    Überprüftes Vertrauen: keine ausgehenden Netzwerkpakete während der Nutzung.
    Leitfaden lesen →
  5. +
    Schritt bonus·15 min·Fortgeschritten

    Bonus — vollständiger Air-Gap

    Für die sensibelsten Unterlagen: eine Firewall-Regel, die alle ausgehenden Verbindungen außer automatischen Systemupdates blockiert. Das ist eine doppelte Absicherung.

    Für sensible Sitzungen als offline zertifizierter Rechner.
    Leitfaden lesen →

Empfohlene Modelle

Drei getestete Optionen für diesen Lernpfad – von der leichtesten bis zur leistungsfähigsten. Klicken Sie für die ausführliche Modellübersicht (VRAM, Kontext, Benchmarks).

Der Start
Mistral Small 3
Mistral AI · 24B · 14 GB in Q4

Eine gute Standardwahl für den professionellen Einsatz. Hervorragend auf Französisch, beim Zusammenfassen langer Texte und beim juristischen Schlussfolgern.

Zur Detailseite →
Aufgeführtes Modell
qwen2.5-14b

Leichter (9 GB bei Q4), sehr gut bei strukturierten Analysen. Für weniger leistungsstarke Geräte.

Aufgeführtes Modell
llama-3.3-70b

Für Macs mit 64 GB oder Workstations mit 48 GB VRAM. Lokal mit der Qualität von „GPT-4 aus dem Jahr 2023“.

Häufig gestellte Fragen

Die echten Fragen, die uns per E-Mail und auf Mastodon gestellt werden. Wenn Ihre Frage fehlt, öffnen Sie ein Ticket.

Ja, konstruktionsbedingt: Es werden keine Daten an einen Auftragsverarbeiter übermittelt. Sie bleiben der alleinige Verantwortliche für die Datenverarbeitung. Achten Sie lediglich auf die Festplattenverschlüsselung (BitLocker, FileVault, LUKS) und die Richtlinie zur Löschung von Gesprächen.
Nach Abschluss dieses Parcours
Nächster Lernpfad

Der Neugierige — « Ich möchte es einfach ausprobieren, ohne großen Aufwand. »

Vous avez entendu parler des LLM locaux et vous voulez voir ce que ça donne sur votre machine. Aucun code, aucune ligne de commande compliquée — en 15 minutes vous chattez avec vot…

→
Das RAG-Local-Kit

Ihre Dokumente, Ihre KI: ein zuverlässiges lokales RAG für Ihre PDFs, Notizen und E-Mails – ohne Daten in die Cloud zu senden.

  • Lebenslanger Online-Zugang
  • PDF + Dateien
  • Erstattung binnen 30 Tagen
Das RAG-Local-Kit →oder alle Pakete lebenslang — 49 € →

Eine Frage, ein Tippfehler, ein Bug?

Dieser Lernpfad entwickelt sich mit jeder Modellveröffentlichung weiter. Ihre Rückmeldungen bilden die Grundlage.