Lokale KI für Kommunalverwaltungen und Gebietskörperschaften territoriales

#Warum lokale KI in einer Gebietskörperschaft?

Das Problem einer Kommune ist nicht der Zugang zu einer KI. Die Beschäftigten nutzen bereits eine: ChatGPT auf dem privaten Smartphone, Copilot in der Office-Suite, einen Assistenten im E-Mail-Programm. Das Problem ist, dass diese Nutzung ohne verbindlichen Rahmen erfolgt und dabei Daten der Bürger in Dienste kopiert werden, bei denen die Kommune weder das Hosting noch die Aufbewahrung oder die Wiederverwendung kontrolliert. Der DPO (Datenschutzbeauftragte, seit 2018 für jede öffentliche Stelle verpflichtend) hat keinerlei Einblick in diese Nutzung.

Ein selbst gehostetes LLM kehrt diese Logik um. Das Modell läuft auf einem Rechner in den Räumlichkeiten der Gebietskörperschaft oder bei ihrem üblichen Hosting-Anbieter. Kein Text verlässt das Netzwerk. Die Gebietskörperschaft bleibt die Verantwortliche für die Datenverarbeitung, ohne einen Vertrag mit einem zusätzlichen Auftragsverarbeiter abschließen zu müssen, ohne Datenübermittlung außerhalb der Europäischen Union und ohne eine Klausel mit einem Großkonzern aushandeln zu müssen, der nicht verhandelt. Und die Kosten entstehen durch eine einmalige Hardwareinvestition, statt durch ein Abonnement pro Beschäftigtem, dessen Kosten mit der Nutzung steigen.

Das ist keine universelle Lösung. Ein lokales Modell mit 8 bis 30 Milliarden Parametern ist bei offenen Aufgaben weniger leistungsfähig als die besten proprietären Modelle. Doch die Aufgaben einer Gemeindeverwaltung sind selten offen: ein Schreiben umformulieren, einen Beschluss strukturieren, einen 40-seitigen Bericht zusammenfassen, eine Frage zur Friedhofsordnung beantworten. Bei diesen klar umrissenen Aufgaben erledigt ein Modell in der Größenordnung von Mistral Small oder Qwen3 14B mit einem guten Prompt und den richtigen Dokumenten die Arbeit.

#Anwendungsfälle, die in der Gemeindeverwaltung funktionieren

Der beste Weg, ein KI-Projekt in einer Kommune scheitern zu lassen, ist, einen „Bürgerassistenten“ zu versprechen, der auf der Website der Stadt alles beantwortet. Der beste Weg zum Erfolg ist, mit sich wiederholenden internen Aufgaben zu beginnen, bei denen die Beschäftigten Zeit verlieren und Fehler leicht zu erkennen sind. Hier sind die Aufgaben, die mit einem lokalen Modell gut funktionieren.

Schreiben an Bürgerinnen und Bürger

Antwort auf einen Antrag auf Ausnahmegenehmigung bei der Schulwahl, Eingangsbestätigung einer Beschwerde, Mitteilung einer Entscheidung. Der Verwaltungsmitarbeiter liefert die Fakten und gibt die inhaltliche Richtung der Antwort vor, das Modell formuliert den Text im Verwaltungsstil, der Mitarbeiter liest ihn gegen und unterschreibt. Der Nutzen zeigt sich bei Schreiben mit geringer Tragweite, die den Großteil ausmachen.

Beschlussentwürfe

Eine Dienstmitteilung oder ein Angebot in einen strukturierten Beschlussentwurf überführen (Rechtsgrundlagen, Erwägungsgründe, Beschlussteil). Das Modell hält die Form gut ein, wenn man ihm zwei oder drei bestehende Beschlüsse als Vorlagen bereitstellt. Für den Inhalt bleiben das Generalsekretariat und der Jurist zuständig.

Berichte und Zusammenfassungen

Einen Bericht eines Planungsbüros zusammenfassen, die Beschlüsse aus einem Sitzungsprotokoll einer Kommission extrahieren, eine Zusammenfassung einer öffentlichen Konsultation mit 300 Beiträgen erstellen. Ein Modell mit einem Kontext von 32.000 Tokens kann ein Dokument mit etwa hundert Seiten aufnehmen.

Empfang und Telefonzentrale

Die Empfangskraft dabei unterstützen, schnell und korrekt zu antworten: Öffnungszeiten des Wertstoffhofs, erforderliche Unterlagen für eine Geburtsurkunde, Gebühren für die Betreuung vor und nach dem Unterricht. Dafür kommt RAG (retrieval-augmented generation) zum Einsatz, das sich auf die offiziellen Dokumente der Gebietskörperschaft stützt, nicht auf das Gedächtnis des Modells.

Öffentliche Aufträge

Erste Durchsicht eines CCTP, um Unstimmigkeiten zu erkennen, Umformulierung von Analysekriterien, Unterstützung beim Verfassen des Berichts zur Angebotsanalyse. Das Modell trifft keine Entscheidungen, es beschleunigt die Lektüre.

Übersetzung und Barrierefreiheit

Eine Anleitung für Bürger, die kein Französisch sprechen, übersetzen, ein Schreiben in klarer Sprache neu formulieren (FALC, leicht zu lesen und zu verstehen). Aktuelle Modelle sind im Französischen und in den wichtigsten europäischen Sprachen leistungsfähig.

Zwei Fälle sind von Anfang an auszuschließen. Der erste umfasst jede automatisierte Entscheidung im Einzelfall (Gewährung einer Sozialhilfeleistung, Berechnung eines Tarifs anhand des Familienquotienten): Das französische Gesetzbuch über die Beziehungen zwischen Öffentlichkeit und Verwaltung verpflichtet dazu, die betroffene Person über eine algorithmische Verarbeitung zu informieren und deren Regeln zu erklären. Die europäische KI-Verordnung stuft die Bewertung des Zugangs zu wesentlichen öffentlichen Leistungen als Hochrisikosystem ein. Der zweite Fall ist ein öffentlich zugänglicher Gesprächsagent auf der Website der Stadt. Er erfordert einen Reifegrad (Tests, Aufsicht, Umgang mit Fehlentwicklungen), den nur wenige Gebietskörperschaften bei ihrem ersten Projekt erreichen.

#Warum die US-Cloud für eine Gebietskörperschaft problematisch ist

Das Argument ist nicht ideologisch, sondern rechtlich. Eine Gebietskörperschaft ist Verantwortlicher im Sinne der DSGVO. Wenn sie einen Online-KI-Dienst nutzt, wird der Anbieter zum Auftragsverarbeiter, und ein Vertrag gemäß Artikel 28 muss die Beziehung regeln: Zwecke, Dauer, Sicherheit, weitere Auftragsverarbeiter und den Umgang mit den Daten bei Vertragsende. Bei den großen Diensten für Endverbraucher handelt es sich um einen vorformulierten Vertrag, den die Gebietskörperschaft nicht ändern kann. Die Bedingungen erlauben häufig die Speicherung der ausgetauschten Inhalte und, je nach Angebot, deren Nutzung zur Verbesserung des Dienstes.

Übertragungen in Länder außerhalb der EU

Hosting in den Vereinigten Staaten stellt eine Datenübermittlung in ein Drittland dar. Diese stützt sich derzeit auf den EU-US-Datenschutzrahmen (Angemessenheitsbeschluss vom Juli 2023), der bereits vor europäischen Gerichten angefochten wird. Der Präzedenzfall Schrems II (Ungültigerklärung des Privacy Shield im Jahr 2020) zeigt, dass diese Grundlage von heute auf morgen wegfallen kann. Die Gebietskörperschaft muss ihre Datenverarbeitung dann auf andere Weise rechtfertigen.

Cloud Act

Das US-amerikanische Gesetz von 2018 erlaubt es den US-Behörden, von einem Anbieter, der ihrem Recht unterliegt, die Herausgabe von Daten zu verlangen, unabhängig davon, wo diese gespeichert sind. Die Speicherung in einem europäischen Rechenzentrum eines US-amerikanischen Anbieters schützt nicht vor dieser Forderung. Genau das soll der SecNumCloud-Anforderungskatalog der ANSSI ausschließen.

Doktrin „Cloud im Zentrum“

Das Rundschreiben des Premierministers von 2021, aktualisiert 2023, verpflichtet die staatlichen Verwaltungen, sensible Daten bei SecNumCloud-qualifizierten Angeboten zu hosten, die gegen die Anwendung extraterritorialer Gesetze abgesichert sind. Es gilt nicht unmittelbar für Gebietskörperschaften, legt aber das Anforderungsniveau fest, auf das sich gewählte Amtsträger oder Datenschutzbeauftragte beziehen können; auch die Präfekturen orientieren sich in ihrem Austausch mit den Gebietskörperschaften daran.

Datenschutz-Folgenabschätzung

Die Verarbeitung von Daten der Einwohner durch eine generative KI auf kommunaler Ebene gehört zu den Fällen, in denen eine Datenschutz-Folgenabschätzung (Artikel 35 der DSGVO) dringend empfohlen wird. Sie lässt sich wesentlich einfacher erstellen, wenn weder eine Datenübermittlung noch ein Auftragsverarbeiter beteiligt ist.

Vertraulichkeit und sensible Daten

Die Sozialdienste (CCAS), die Kommunalpolizei und das Standesamt verarbeiten Gesundheitsdaten, Angaben zu Straftaten und familiären Situationen. Diese Kategorien sind nach den Nutzungsbedingungen der meisten KI-Dienste für die breite Öffentlichkeit ausgeschlossen, und ihre Übermittlung an einen Dritten ohne vertragliche Vereinbarung stellt eine Datenschutzverletzung dar, die der CNIL gemeldet werden muss.

Beim Selbsthosting entfallen die meisten dieser Punkte bereits durch den Aufbau des Systems. Es bleiben Pflichten, die tatsächlich erfüllt werden müssen: das Verzeichnis der Verarbeitungstätigkeiten um das neue Werkzeug ergänzen und aktuell halten, die Aufbewahrungsfristen für Gespräche festlegen, die Beschäftigten informieren und die Nutzung durch eine Richtlinie regeln. Doch die Kommune weiß bereits, wie sie diese Pflichten bei ihren anderen Softwareanwendungen erfüllt.

#Voraussetzungen und Governance

Bevor Hardware gekauft wird, gibt es drei Entscheidungen, die in einer Besprechung getroffen werden müssen, nicht vor einem Terminal.

Wer trägt das Projekt

Ein Tandem: ein fachlich Verantwortlicher (Leiter der Kommunalverwaltung, Generalsekretär) und ein technischer Ansprechpartner (IT-Leiter, IT-Dienstleister der Gemeinde oder gemeinsamer IT-Dienst des Gemeindeverbands). Ohne fachlich Verantwortlichen bleibt das Projekt ein Spielzeug der IT-Abteilung.

Wo läuft der Server?

Bei der Gebietskörperschaft selbst, im Rechenzentrum des Gemeindeverbands oder des Départements oder bei einem französischen Hosting-Anbieter. Alle drei Optionen sind mit diesem Leitfaden vereinbar. Für eine kleine Gemeinde ist der gemeinsame IT-Dienst des Gemeindeverbands oft die beste Option: ein Server, zehn Gemeindeverwaltungen.

Welche Daten aufgenommen werden

Im Voraus festlegen, welche Dokumente in das RAG einfließen sollen (Vorschriften, veröffentlichte Beschlüsse, interne Verfahren) und welche nicht (Einzelfallakten des CCAS, Daten der kommunalen Polizei). Diese Liste bildet den Kern des Eintrags im Verzeichnis der Verarbeitungstätigkeiten.

Fähigkeiten

Ein Techniker, der sich mit Linux und Docker auskennt, reicht aus für die Installation und den Betrieb. RAG erfordert etwas mehr Organisation (Vorbereitung der Dokumente), nicht jedoch mehr Code.

Netzwerk

Der Server muss von den Arbeitsplätzen der Mitarbeitenden aus erreichbar sein (internes Netzwerk oder VPN) und darf niemals direkt im Internet zugänglich sein. Ein Reverse Proxy mit Authentifizierung ist das Minimum, wenn der Zugriff über das lokale Netzwerk hinausgeht.

Bei der Beschaffung fällt ein Rechner für weniger als 40.000 € ohne Mehrwertsteuer unter Aufträge, die ohne öffentliche Bekanntmachung und ohne vorheriges Wettbewerbsverfahren vergeben werden können. Das gilt für alle Konfigurationen dieses Leitfadens. Dennoch müssen Angebote zum Vergleich eingeholt und eine Begründung des Bedarfs in den Unterlagen festgehalten werden. Die meisten der weiter unten beschriebenen Konfigurationen lassen sich übrigens über den UGAP-Katalog oder beim üblichen PC-Systembauer der Gebietskörperschaft kaufen.

#Server- und Budgetplanung

Die alles entscheidende Frage ist die Größe des Modells, das Sie bereitstellen möchten, und damit der verfügbare Grafikspeicher (VRAM). Bei der gängigsten Quantisierung Q4_K_M belegt ein Modell mit 7 bis 8 Milliarden Parametern etwa 5 GB, ein 14B-Modell etwa 9 GB, ein 24B- bis 32B-Modell zwischen 15 und 19 GB und ein 70B-Modell etwa 40 GB. Hinzu kommt der Speicher für den Kontext (die gerade gelesenen Dokumente), dessen Bedarf bei langen Texten schnell steigt. Die Zahl der gleichzeitig arbeitenden Mitarbeiter spielt eine geringere Rolle, als man denkt: In einer Stadtverwaltung erzeugen zehn entsprechend ausgestattete Mitarbeiter selten mehr als zwei oder drei Anfragen gleichzeitig.

Drei Stufen decken nahezu alle Gebietskörperschaften ab. Die folgenden Preisspannen sind grobe Richtwerte, die durch Angebote bestätigt werden müssen: Sie variieren je nach Anbieter, Arbeitsspeicher, Speicherplatz und Garantie.

Ebene 1: Gemeinde mit weniger als 5.000 Einwohnern

Ein Arbeitsplatzrechner oder ein Mini-Server mit einer Grafikkarte mit 12 oder 16 GB VRAM (z. B. RTX 4070, RTX 4080 oder vergleichbar), 32 GB RAM und einer 1-TB-SSD. Zielmodelle: Qwen3 8B oder 14B, Gemma 3 12B. Unverbindlicher Richtwert für das Hardwarebudget: 1.500 bis 2.500 € netto. Fünf bis zehn Beschäftigte, Textverfassung und Zusammenfassung, RAG auf Grundlage der Vorschriften der Gemeinde.

Stufe 2: mittelgroße Stadt oder Gemeindeverbund

Eine Workstation mit einer Grafikkarte mit 24 GB Speicher (RTX 4090 oder einem gleichwertigen professionellen Modell), 64 GB RAM und einer SSD mit 2 TB oder ein Mac Studio mit 64 GB vereinheitlichtem Speicher. Zielmodelle: Mistral Small 24B, Qwen3 32B in Q4, gpt-oss 20B. Richtbudget: 3.500 bis 6.000 € netto. Zwanzig bis fünfzig Beschäftigte, alle Anwendungsfälle dieses Leitfadens.

Stufe 3: große Gebietskörperschaft oder gemeinsam genutzter Dienst auf Département-Ebene

Ein rackmontierbarer Server mit einer oder zwei professionellen Grafikkarten mit jeweils 48 GB (oder mehr), redundanter Stromversorgung und Integration in den bestehenden Serverraum. Zielmodelle: 70B in Q4 oder mehrere spezialisierte Modelle, die parallel bereitgestellt werden. Richtbudget ab 10.000 € netto, häufig 15.000 bis 25.000 € netto mit Herstellersupport. Mehrere Hundert Beschäftigte, mehrere beteiligte Gebietskörperschaften.

Zu diesen Beträgen kommen die Stromkosten (ein Rechner mit einer Consumer-Grafikkarte verbraucht unter Last zwischen 300 und 500 W, im Leerlauf sehr wenig), einige Tage für Installation und Konfiguration durch den technischen Ansprechpartner oder einen Dienstleister und vor allem die Schulungszeit der Mitarbeiter, die den eigentlichen Kostenfaktor des Projekts darstellt. Zum Vergleich: Ein Abo für einen proprietären KI-Assistenten für fünfzig Mitarbeiter übersteigt in der Regel bereits im ersten Jahr den Preis der Stufe 2 und verlängert sich jährlich.

#Schritt-für-Schritt-Deployment

Der folgende Ablauf setzt einen Linux-Server (Ubuntu oder Debian) mit einer NVIDIA-Grafikkarte und installierten Treibern voraus. Der Stack besteht aus Ollama zur Bereitstellung der Modelle und Open WebUI als Benutzeroberfläche mit Benutzerkonten, Verlauf und integriertem RAG.

1. 01
   Ollama installieren und im Netzwerk zugänglich machen

   Das offizielle Skript installiert Ollama als systemd-Dienst. Standardmäßig nimmt Ollama nur auf dem Rechner selbst Verbindungen entgegen (http://localhost:11434). Damit die in einem Container installierte Benutzeroberfläche Ollama erreichen kann, lässt man Ollama auf allen Netzwerkschnittstellen lauschen und stellt sicher, dass die Firewall des Servers Zugriffe von außen auf Port 11434 blockiert.
2. 02
   Ein oder zwei Modelle herunterladen

   Beginnen Sie mit einem mittelgroßen Modell und einem kleinen, schnellen Modell. Das erste ist für das Verfassen von Texten und Zusammenfassungen gedacht, das zweite für kurze Aufgaben und den Empfang. Der Download umfasst mehrere Gigabyte und sollte außerhalb der Öffnungszeiten eingeplant werden, wenn die Internetverbindung der Gemeindeverwaltung nur eine geringe Bandbreite bietet.
3. 03
   Open WebUI installieren

   Open WebUI wird als Docker-Container installiert und verbindet sich mit Ollama. Das zuerst erstellte Konto ist ein Administratorkonto. Deaktivieren Sie anschließend die offene Registrierung und erstellen Sie die Konten der Mitarbeitenden manuell oder über den Verzeichnisdienst (LDAP oder SSO werden in den Administrationseinstellungen unterstützt).
4. 04
   Die Dokumentenbasis mit Inhalten füllen

   Erstellen Sie im Arbeitsbereich von Open WebUI eine Sammlung pro Thema (Vorschriften, Beschlüsse, Personalverfahren) und laden Sie die PDF- und Word-Dokumente hoch. Bevorzugen Sie saubere, aktuelle Dokumente ohne gescannte Bilder. Verknüpfen Sie anschließend jede Sammlung mit einem benutzerdefinierten Modell mit einem Systemprompt, der die erwartete Rolle beschreibt.
5. 05
   Systemprompts für die jeweiligen Tätigkeitsbereiche verfassen

   Ein benutzerdefiniertes Modell „Verwaltungsbrief“ mit den Schreibrichtlinien der Gebietskörperschaft, ein Modell „Beschluss“ mit der erwarteten Struktur und zwei Beispielen sowie ein Modell „Empfang“, das mit der Sammlung praktischer Informationen verbunden ist. Diese Modelle erscheinen als einsatzbereite Werkzeuge für die Mitarbeitenden, die nicht wissen müssen, wie man Prompts formuliert.
6. 06
   Absichern und Backups erstellen

   Reverse-Proxy mit TLS-Zertifikat vor Open WebUI, Zugriff nur aus dem internen Netzwerk oder über das VPN, tägliche Sicherung des Datenvolumes von Open WebUI (Konten, Unterhaltungen, Dokumente) und der Konfiguration. Tragen Sie das Tool mit einer Aufbewahrungsfrist für Unterhaltungen in das Verzeichnis der Verarbeitungstätigkeiten ein und konfigurieren Sie die Löschung entsprechend.

# Installation d'Ollama (script officiel)
curl -fsSL https://ollama.com/install.sh | sh

# Écouter sur le réseau pour le conteneur Open WebUI
sudo systemctl edit ollama.service
# Ajouter dans le fichier ouvert :
# [Service]
# Environment="OLLAMA_HOST=0.0.0.0"
# Environment="OLLAMA_KEEP_ALIVE=24h"
sudo systemctl daemon-reload
sudo systemctl restart ollama

# Modèles de départ (Q4_K_M par défaut)
ollama pull qwen3:14b
ollama pull mistral-small3.2
ollama pull qwen3:8b

# Vérification
ollama list
curl http://localhost:11434/api/tags

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

# L'interface est ensuite accessible sur http://<ip-du-serveur>:3000
# Premier compte créé = administrateur
# Ensuite : Admin > Settings > désactiver « Enable New Sign Ups »

Damit Port 11434 nicht für das gesamte Netzwerk offen bleibt, beschränken Sie den Zugriff mit der Firewall (ufw oder nftables) auf den Server selbst und den Container. Der Leitfaden dieser Website zur Absicherung eines Ollama-Servers erläutert diesen Teil sowie die Einrichtung des Reverse-Proxys im Detail. Wenn die Kommune bereits über einen Proxmox-Hypervisor verfügt, ist eine virtuelle Maschine mit Durchreichung der Grafikkarte eine gute Möglichkeit, diesen Server in die bestehende Infrastruktur einzubinden.

#Die Mitarbeitenden unterstützen, ohne sie zu ersetzen

Die Angst, ersetzt zu werden, ist die erste Reaktion in einer Abteilung, wenn die Einführung einer KI angekündigt wird. Sie ist berechtigt, und ihr mit Slogans zu begegnen, funktioniert nicht. Was funktioniert, ist, genau zu sagen, was das Werkzeug tut und was nicht, und dies anhand der tatsächlichen Arbeit der Beschäftigten zu zeigen.

Das Modell schlägt vor, der Mitarbeiter entscheidet

Kein vom Modell erzeugtes Dokument wird ohne menschliche Durchsicht und Unterschrift versandt. Diese Regel steht in den Nutzungsrichtlinien, und der Systemprompt jedes angepassten Modells erinnert am Ende der Antwort daran. Sie schützt die Gebietskörperschaft (Verantwortung) und den Mitarbeiter (er bleibt der Autor).

Anhand realer Fälle schulen

Zwei Stunden pro Abteilung, anhand der Schreiben und Vorgänge der Woche, nicht anhand allgemeiner Beispiele. Ziel ist, dass jeder Mitarbeiter anschließend drei Situationen kennt, in denen ihm das Tool Zeit spart, und zwei, in denen er es nicht verwenden sollte.

Halluzinationen erklären

Ein lokales Modell erfindet juristische Quellenangaben, Gesetzesartikel und Zahlen mit derselben Sicherheit, mit der es eine richtige Antwort gibt. Die Beschäftigten müssen wissen, dass jede vom Modell erzeugte rechtliche Quellenangabe auf Légifrance überprüft werden muss und dass RAG dieses Risiko bei den Dokumenten der Gebietskörperschaft verringert, ohne es zu beseitigen.

Die Nutzung sichtbar machen

Eine interne Vereinbarung: In Arbeitsdokumenten den Hinweis „mit Unterstützung eines Assistenten verfasst, von [agent] gegengelesen“ verwenden, niemals in amtlichen Dokumenten. Das nimmt dem Einsatz die Dramatik und erleichtert die Kontrolle.

Die Personalvertretung einbeziehen

Die Einführung eines KI-Tools betrifft die Arbeitsorganisation. Den territorialen Sozialausschuss (CST) vor der Bereitstellung zu informieren, verhindert, dass er durch Gerüchte davon erfährt und das Projekt in einen Konflikt verwandelt.

Messen, ohne zu überwachen

Verfolgen Sie die Anzahl der aktiven Nutzer und die qualitativen Rückmeldungen, nicht die individuelle Produktivität. Die Gesprächsprotokolle dienen der Fehlerbehebung und der Einhaltung von Vorschriften, nicht der Beurteilung der Beschäftigten, und die Nutzungsrichtlinie muss dies ausdrücklich festhalten.

In den Gebietskörperschaften, die so vorgegangen sind, ist die Akzeptanz kein Problem: Die Beschäftigten nutzen gern ein Werkzeug, das ihnen den mühsamen Teil der Arbeit an einem Schreiben abnimmt. Worauf man achten muss, liegt woanders: Einige Beschäftigte verlassen sich zu sehr auf das Modell und lesen die Texte nicht mehr gegen. Gegenseitiges Gegenlesen in den ersten Wochen und regelmäßige Hinweise auf festgestellte Halluzinationen sind die besten Schutzmaßnahmen.

#Fehlerquellen und Troubleshooting

Langsame oder stockende Antworten

Das Modell passt nicht vollständig in den VRAM, und ein Teil läuft auf dem Prozessor. Prüfen Sie mit ollama ps die GPU/CPU-Verteilung. Wählen Sie ein kleineres Modell, eine aggressivere Quantisierung oder reduzieren Sie die von Open WebUI angeforderte Kontextgröße.

RAG antwortet an der Frage vorbei

Meist sind die Dokumente schlecht in Abschnitte aufgeteilt (gescannte PDFs, Tabellen, komplexe Layouts). Konvertieren Sie sie vor dem Hochladen in sauberen Text, entfernen Sie veraltete Versionen der Vorschriften und testen Sie jede Sammlung mit zehn Fragen, deren Antworten Sie kennen.

Das Modell kennt die Fachbegriffe der kommunalen Verwaltung nicht

Es weiß nicht, was ein CCAS, eine DETR oder eine DSP in Ihrem Kontext ist. Fügen Sie ein Glossar Ihrer Gebietskörperschaft in den Systemprompt oder in eine eigens dafür vorgesehene Sammlung ein.

Ein Mitarbeiter hat eine Sozialakte in einen Chat eingefügt

Dabei gelangen keine Daten außerhalb der Kommunalverwaltung, sie werden jedoch außerhalb des vorgesehenen Rahmens verarbeitet. Löschen Sie die Unterhaltung, erinnern Sie an die Nutzungsrichtlinie und passen Sie bei Bedarf die Zugriffsrechte auf die Modelle in Open WebUI nach Benutzergruppen an.

Aktualisierung, die alles kaputt macht

Feste die Versionen: Tag des Bildes Open WebUI, Version von Ollama, exakte Liste der Modelle. Teste die Updates auf einem sekundären Rechner oder einer virtuellen Maschine, bevor du den Agentenserver berührst.

Der Server ist von außen erreichbar

Prüfen Sie regelmäßig, dass keine Portweiterleitung oder Firewallregel den Port 11434 oder den Port von Open WebUI über die öffentliche IP-Adresse der Stadtverwaltung zugänglich macht. Im Internet werden ständig Tausende offen zugängliche Ollama-Server erfasst.

#Weiterführende Informationen

Dieser Leitfaden legt den Rahmen und die grundlegende Einrichtung fest. Die auf dieser Website bereitgestellten Anleitungen erläutern die Bausteine, die Sie anschließend verwenden werden:

KI-Chatbot für das Team im Intranet deployen

Detaillierte Konfiguration des Reverse-Proxy Nginx, der Authentifizierung, der Überwachung und der Konversationssicherung für einen multibenutzerfähigen Open WebUI Betrieb.

Den eigenen Ollama-Server absichern

Die Erreichbarkeit des Servers von außen prüfen, Authentifizierung und TLS hinzufügen und bewährte Netzwerkpraktiken anwenden. Vor der Freigabe des Zugriffs über das lokale Netzwerk hinaus lesen.

Lokales LLM und DSGVO: Datenschutzkonformität bei privaten Daten

Der vollständige rechtliche Rahmen (DSGVO, europäische KI-Verordnung, Empfehlungen der CNIL) zur Dokumentation der Folgenabschätzung und des Eintrags ins Verzeichnis.

Lokales RAG mit Ollama ohne Programmieren

Um zu verstehen, was passiert, wenn Sie Dokumente in einer Sammlung ablegen, und die Qualität der Antworten am Empfang zu verbessern.

Quantisierung wählen (Q4, Q5, Q8, FP16)

Um zwischen einem größeren Modell in Q4 und einem kleineren Modell in Q8 entsprechend der verfügbaren VRAM des gekauften Servers zu wählen.