Vertragsanalyse für Anwaltskanzleien: lokales LLM FR

#Berufliche Schweigepflicht = lokaler Betrieb erforderlich

Die anwaltliche Verschwiegenheitspflicht (Artikel 66-5 des Gesetzes von 1971, Artikel 226-13 des Strafgesetzbuchs, Artikel 2 des RIN) gilt umfassend und uneingeschränkt und gehört zum zwingenden Recht. Sie umfasst jedes Dokument, das der Mandant übergibt oder das für ihn erstellt wird, auch bei der Vertragsprüfung. Der Conseil national des barreaux hat wiederholt darauf hingewiesen, dass die Nutzung von Cloud-KI für Daten, die der Verschwiegenheitspflicht unterliegen, einen Verstoß gegen die anwaltlichen Berufspflichten darstellen kann.

Die Nutzungsbedingungen von LLMs für die breite Öffentlichkeit (ChatGPT, Claude, Gemini) sehen, sofern kein spezielles Enterprise-Angebot genutzt wird, die Verwendung der Prompts zur Verbesserung des Dienstes, die Speicherung in Rechenzentren außerhalb der EU und eine mögliche behördliche Anforderung der Daten im Land des Hostings vor. Bei einer Vergleichsvereinbarung oder einer Strafakte reicht das aus, um aus einer guten Idee ein berufsrechtliches Risiko zu machen.

#Der Stack: Mistral Magistral + AnythingLLM

Drei Bausteine. Ollama als Inferenz-Engine, die unter http://localhost:11434 auf Anfragen wartet. Mistral Magistral als Modell: ein französisches Reasoning-Modell, trainiert von Mistral AI, das vor der Antwort eine explizite Gedankenkette erzeugt – genau das, was wir möchten, um zu erklären, warum eine Klausel riskant ist. AnythingLLM als Benutzeroberfläche: mehrere Arbeitsbereiche, integriertes RAG, Dokumentenverwaltung und Nachvollziehbarkeit der Gespräche.

Mistral Magistral Small (24B)

Der richtige Kompromiss. Q4_K_M passt in 19 GB VRAM; bei der klassischen Vertragsprüfung liegt die Qualität im französischen Rechtsbereich auf dem Niveau von GPT-4o.

Mistral Magistral 7B

Eine leichtere Variante, wenn Sie über 12 GB VRAM verfügen. Weniger präzise bei Feinheiten, aber für die Extraktion von Standardklauseln ausreichend.

AnythingLLM Desktop oder Docker

Desktop für einen einzelnen Anwaltsarbeitsplatz, Docker hinter Traefik für die gemeinsame Nutzung durch mehrere Mitarbeiter der Kanzlei im Intranet.

Embeddings nomic-embed-text

Mehrsprachig, kostenlos, ausreichend für RAG mit 50–500 Verträgen. Für den Einstieg ist kein auf juristische Inhalte spezialisiertes Embedding-Modell nötig.

#Hardware- und Software-Voraussetzungen

NVIDIA-GPU RTX 4080 mit 16 GB oder besser

Mindestanforderungen für Magistral Small in Q4_K_M. RTX 4090 24 GB oder RTX 5090 32 GB für Komfort und erweiterten Kontext.

Alternative für Mac

Mac Studio M4 Max mit 48 GB oder M2 Ultra mit 64 GB: Magistral Small läuft mit MLX sehr gut und erreicht bei französischsprachigen Verträgen 15–25 Tokens pro Sekunde.

32 GB Systemspeicher

Das Parsen von PDFs, AnythingLLM und der Browser benötigen Arbeitsspeicher. 32 GB verhindern das Auslagern auf den Datenträger.

SSD mit mindestens 500 GB

Modelle (~15 GB), Vektordatenbank, Archiv der indexierten Verträge. Verschlüsselung mit BitLocker / LUKS / FileVault ist Pflicht.

Betriebssystem

Windows 11 Pro, macOS 14+ oder Ubuntu 22.04/24.04 LTS. Keine Home-Version für die vollständige Festplattenverschlüsselung.

Ollama installiert

Daemon, der standardmäßig unter http://localhost:11434 lauscht. systemd-Dienst unter Linux, native App unter Windows / macOS.

#1. Mistral Magistral + AnythingLLM installieren

1. 01
   Magistral über Ollama abrufen

   Ein einziger Befehl lädt das Modell (ca. 14 GB in Q4_K_M für die Variante Small) und speichert es im lokalen Ollama-Register. Die Dauer beträgt 5 bis 15 Minuten je nach Ihrer Verbindung.
2. 02
   Das Modell in der CLI testen

   Bevor Sie eine Benutzeroberfläche einrichten, prüfen Sie, ob die Inferenz läuft und die GPU tatsächlich genutzt wird. ollama ps muss in der Spalte PROCESSOR 100% GPU anzeigen.
3. 03
   AnythingLLM Desktop installieren

   Laden Sie das offizielle Installationsprogramm von useanythingllm.com herunter. Standardinstallation, automatischer Start, Konfiguration über 3 Bildschirmseiten.
4. 04
   AnythingLLM mit Ollama verbinden

   Unter Settings → LLM Preference Ollama wählen, die URL http://localhost:11434 angeben und magistral aus der Liste der erkannten Modelle auswählen. Für Embeddings ebenfalls nomic-embed-text über Ollama verwenden.

# Variante Small (24B) — recommandée
ollama pull magistral

# Test rapide en CLI
ollama run magistral "Analyse cette clause : 'Le présent contrat est résilié de plein droit en cas de retard de paiement.' Donne ton raisonnement avant ta conclusion."

# Vérifier que c'est sur GPU
ollama ps

ollama pull nomic-embed-text

#2. Kanzlei-Arbeitsbereich und Systemprompt

AnythingLLM arbeitet mit Workspaces. Für eine Kanzlei empfiehlt sich eine saubere Organisation: ein Workspace pro übergeordnetem Rechtsgebiet (Wirtschaftsrecht, Arbeits- und Sozialrecht, Strafrecht), nicht einer pro Fall. RAG bleibt auf dieser Gliederungsebene relevant, und die Trennung nach Rechtsgebieten verhindert semantische Vermischungen zwischen den juristischen Bereichen.

1. 01
   Einen Workspace „Vertragsrecht — Wirtschaft“ erstellen

   In AnythingLLM: New Workspace. Einen fachbezogenen Namen wählen, nicht den Namen eines Kunden. Das Chatmodell auf magistral einstellen und die Temperatur auf etwa 0,2 setzen, um die Kreativität zu begrenzen.
2. 02
   Die zu analysierenden Verträge importieren

   PDF-Dateien per Drag-and-drop in den Tab „Documents“ des Workspaces ziehen. AnythingLLM extrahiert den Text, teilt ihn in Abschnitte auf, erstellt Embeddings und speichert diese in der lokalen Vektordatenbank (standardmäßig LanceDB).
3. 03
   Den juristischen Systemprompt einfügen

   Workspace Settings → Chat Settings → Prompt. Hier legen Sie den Rahmen für das Verhalten des Modells beim Einsatz in einer Anwaltskanzlei fest.

Tu es un assistant d'analyse contractuelle utilisé par un avocat
inscrit au barreau français. Tu n'es PAS l'avocat. Tu prépares son
travail de relecture.

RÈGLES IMPOSÉES
1. Tu cites TOUJOURS textuellement les passages que tu analyses,
   entre guillemets, en indiquant l'article ou la section.
2. Tu n'inventes JAMAIS une clause. Si une clause demandée n'est
   pas dans le contrat, tu dis : "Absent du contrat fourni."
3. Tu n'émets aucun avis juridique définitif. Tu signales des
   points d'attention, jamais des certitudes.
4. Tu raisonnes EXPLICITEMENT avant de conclure (chaîne de pensée).
5. Tu utilises la terminologie juridique française correcte
   (Code civil, Code de commerce, jurisprudence Cass. com., etc.).
6. Tu refuses toute tâche hors champ contractuel.

FORMAT DE SORTIE PAR DÉFAUT
- Section RAISONNEMENT : ta réflexion étape par étape.
- Section CONSTATS : liste à puces, chaque puce = clause + citation
  + point d'attention en une phrase.
- Section À VÉRIFIER PAR L'AVOCAT : 1 à 5 points qui demandent
  l'expertise humaine.

#3. Standardklauseln extrahieren

Erster konkreter Anwendungsfall: die in einem Vertrag enthaltenen Standardklauseln erfassen und verorten, ohne ihn vollständig manuell durchzusehen. Man übergibt dem Modell eine Übersicht mit Musterklauseln und bittet es, jede davon im Dokument zu lokalisieren, das in den Workspace geladen wurde.

Analyse le contrat chargé dans ce workspace. Pour chacune des
clauses ci-dessous, indique si elle est présente, cite textuellement
le passage correspondant (ou "Absent du contrat fourni"), et signale
en une phrase tout point qui mérite l'attention de l'avocat.

GRILLE DE CLAUSES À RECHERCHER :
1. Objet du contrat et périmètre des prestations
2. Durée et conditions de renouvellement (tacite reconduction ?)
3. Prix, modalités de révision, indexation
4. Modalités de paiement et pénalités de retard (taux légal ?)
5. Clause de propriété intellectuelle (cession ou licence ?)
6. Clause de confidentialité (durée post-contractuelle ?)
7. Clause de non-concurrence (durée, périmètre, contrepartie)
8. Clause de limitation / exclusion de responsabilité (réciproque ?)
9. Clause de force majeure (définition propre ou renvoi article 1218 ?)
10. Clause résolutoire (mise en demeure préalable ?)
11. Cession du contrat (autorisation préalable ?)
12. Données personnelles et conformité RGPD
13. Loi applicable et juridiction compétente
14. Clause compromissoire ou attributive de juridiction

Respecte strictement le format de sortie défini dans tes instructions.

#4. v1 / v2 eines Vertrags vergleichen

Ein Anwendungsfall mit sehr hohem Nutzen: Die Gegenpartei schickt eine mit Anmerkungen versehene Fassung des Protokolls zurück. Was sind die tatsächlichen Änderungen? Welche sind rein kosmetisch, welche verändern die wirtschaftlichen Grundlagen des Vertrags? Der manuelle Vergleich dauert eine Stunde pro zehn Seiten. Magistral erledigt ihn in zwei Minuten; die Ergebnisse muss der Anwalt überprüfen.

1. 01
   Beide Versionen in den Workspace laden

   v1 (ursprüngliche Version) und v2 (Rückmeldung der Gegenpartei) in den Workspace importieren. Die Dateien ausdrücklich in „protocole_v1_ndp.pdf“ und „protocole_v2_retour_adverse.pdf“ umbenennen, damit das Modell sie unterscheiden kann.
2. 02
   Das Anheften beider Dokumente erzwingen

   In AnythingLLM erzwingt das Anheften (pin) der beiden Dokumente im Workspace ihre vollständige Aufnahme in den Kontext, bis zur Größe des Kontextfensters des Modells, ohne den Umweg über Retrieval. Für den Vergleich unverzichtbar.
3. 03
   Das Kontextfenster prüfen

   Magistral unterstützt standardmäßig 32.000 Tokens. Zwei Versionen eines 25-seitigen Vertrags passen in der Regel problemlos in das Kontextfenster. Darüber hinaus auf eine Aufteilung nach Abschnitten umsteigen.

Compare la version 1 (document "protocole_v1_ndp.pdf") et la
version 2 (document "protocole_v2_retour_adverse.pdf") du même
protocole transactionnel.

Ne relève QUE les modifications de fond. Ignore les corrections
purement orthographiques, typographiques ou de mise en forme.

Classe les modifications en quatre catégories :

A. FAVORABLES à notre client (le bénéficiaire de l'indemnité)
B. DÉFAVORABLES à notre client
C. NEUTRES sur l'économie du contrat
D. AJOUTS ou SUPPRESSIONS d'articles entiers

Pour chaque modification :
- Cite l'article ou la section concernée.
- Donne la formulation v1 entre guillemets.
- Donne la formulation v2 entre guillemets.
- Explique en une phrase l'impact juridique réel.

À la fin, propose une liste de 3 à 5 points à NÉGOCIER avec la
partie adverse, classés par priorité.

#5. Risiken kartieren

Dritter Anwendungsfall: einen strukturierten Risikovermerk erstellen, der direkt zur Mandantenakte genommen werden kann. Hier wird die Gedankenkette von Magistral zum Vorteil: Sie liefert die Grundlage für die Begründung des Vermerks.

Établis une NOTE DE RISQUES sur le contrat chargé, destinée à
être versée au dossier interne du cabinet (pas remise au client
en l'état).

Structure attendue :

1. SYNTHÈSE EXÉCUTIVE (5 lignes max)
   - Nature du contrat
   - Parties
   - Enjeu principal en une phrase
   - Niveau de risque global (faible / modéré / élevé) + justification

2. RISQUES JURIDIQUES IDENTIFIÉS
   Pour chaque risque :
   - Intitulé du risque
   - Clause(s) concernée(s), citées textuellement
   - Probabilité de survenance (faible / modérée / élevée)
   - Impact (faible / modéré / élevé)
   - Disposition de droit applicable ou jurisprudence à vérifier

3. RECOMMANDATIONS DE RÉDACTION
   - 3 à 7 propositions de modification, formulées comme des
     suggestions de rédaction concrètes.

4. POINTS À ÉCLAIRCIR AVEC LE CLIENT avant signature.

Respecte strictement le format. Cite TOUJOURS les passages.

#Qualitätskontrolle und Sicherheitsmaßnahmen

Juristische Halluzination

Ein LLM kann einen Artikel des französischen Code civil zitieren, der nicht existiert, oder Rechtsprechung erfinden. Goldene Regel: Jeder vom Modell zitierte Artikel wird auf Légifrance überprüft, bevor er in ein Arbeitsergebnis aufgenommen wird.

Textzitate

Prüfen Sie grundsätzlich, ob die vom Modell „wörtlich zitierten“ Passagen tatsächlich im Vertrag stehen. Dass dies nicht der Fall ist, kommt selten vor, passiert aber — die Anweisung im System-Prompt senkt das Risiko erheblich, beseitigt es jedoch nicht.

Temperatur

Bleiben Sie für diese Art der Nutzung zwischen 0,1 und 0,3. Eine höhere Temperatur führt zu flüssigeren Formulierungen, erhöht aber das Risiko erfundener Inhalte.

Vertraulichkeit in der Kanzlei

Vollständige Datenträgerverschlüsselung (BitLocker / FileVault / LUKS), starke Authentifizierung für die AnythingLLM-Sitzung, verschlüsselte Backups und Löschung der Dokumente nach Abschluss des Falls.

Nachvollziehbarkeit

AnythingLLM speichert den Gesprächsverlauf pro Workspace. Exportieren und archivieren Sie diese Protokolle in der Mandantenakte: Sie sind ein nützlicher Nachweis für Audits, falls Vorwürfe gegen Sie erhoben werden.

Modellaktualisierungen

Verfolgen Sie die Veröffentlichungen von Mistral Magistral. Mindestens eine neue Version pro Jahr gewährleistet ein Modell, das auf aktuellen Gesetzesänderungen trainiert wurde.

#Weiterführende Informationen

Diese Pipeline deckt die tägliche Vertragsprüfung ab. Drei naheliegende nächste Schritte: eine RAG-Datenbasis mit der für Ihr Rechtsgebiet relevanten Rechtsprechung von Légifrance aufbauen, die Einhaltung der DSGVO und des AI Act in der Kanzlei verstärken und Mistral Magistral auf einem zweiten Rechner installieren, um die Ausfallsicherheit zu erhöhen.