Einsteiger 10 Min.RAG

Lokales RAG mit Ollama ohne Programmieren (Open WebUI, AnythingLLM)

Lokales RAG mit Ollama ohne Programmieren (Open WebUI, AnythingLLM)

Lokales RAG mit Ollama bedeutet, einem selbst gehosteten LLM Fragen zu stellen und es dabei Ihre eigenen Dokumente lesen zu lassen – ohne eine einzige Zeile in die Cloud zu senden. Zwei kostenlose Tools ermöglichen die Einrichtung ohne Programmieren: Open WebUI (eine ChatGPT-ähnliche Oberfläche mit integrierter Wissensbasis) und AnythingLLM (Workspaces und Quellenangaben). Dieser Leitfaden behandelt das Thema in 10 Minuten, auch für einen kleinen Rechner ohne GPU.

Von Mohamed Meguedmi·Aktualisierung 2026-10-14·Unter Windows, macOS und Linux getestet

#Warum ein lokales RAG mit Ollama

RAG (Retrieval-Augmented Generation) begegnet einer einfachen Einschränkung von LLMs: Sie kennen nur ihre Trainingsdaten. RAG verbindet sie mit Ihren Dokumenten: PDFs mit internen Verfahrensanweisungen, Markdown-Notizen, E-Mail-Exporten, Verträgen, Handbüchern – allem, was weder öffentlich noch aktuell ist. Das Modell liest vor der Antwort die relevanten Passagen und nennt seine Quellen, sofern das verwendete Tool dies ermöglicht.

Die Cloud-Version (ChatGPT, Claude, Gemini) erfordert, dass Sie Ihre Dokumente auf Server von Drittanbietern hochladen. Für eine Anwaltskanzlei, einen Arzt, einen Buchhalter oder auch eine Privatperson, die ihre persönlichen Notizen nicht in die USA schicken möchte, ist das ein Ausschlusskriterium. Ein lokales RAG mit Ollama löst dieses Problem: Alles bleibt auf Ihrem Rechner, und Sie behalten die Kontrolle über die Kosten (null) ebenso wie über die Vertraulichkeit.

Vollständiger Datenschutz
Ihre Dokumente verlassen niemals das Gerät. Kein Token wird an einen Anbieter gesendet.
Keine Grenzkosten
Kein Abonnement, kein API-Kontingent. Sie zahlen für den Strom, mehr nicht.
Offline
Sobald das Modell heruntergeladen wurde, funktioniert RAG ohne Internetverbindung.
Anpassbar
Sie wählen das Antwortmodell, das Embedding-Modell und die Quellen aus.

#Unterstützt Ollama RAG nativ?

Das komplette Kit, um dein eigenes lokales RAG zu erstellen.

Profitiere von unserer Erfahrung und einem geführten Lernpfad, um dein lokales RAG aufzubauen und mit deinen eigenen Dokumenten zu arbeiten.

  • Lebenslanger Online-Zugang
  • PDF + Dateien
  • Erstattung binnen 30 Tagen

Klare Antwort: nein. Ollama ist eine Inferenz-Engine – es lädt LLMs herunter, führt sie aus und stellt unter http://localhost:11434 eine OpenAI-kompatible API bereit, kann Ihre Dokumente aber nicht eigenständig indexieren. Es verfügt weder über eine Vektordatenbank noch über ein Werkzeug zum Aufteilen von PDFs oder eine Oberfläche zum Einfügen von Dateien per Drag-and-drop.

Dagegen kann er ein Generierungsmodell und ein Embedding-Modell parallel bereitstellen – mehr braucht ein externes Tool (Open WebUI, AnythingLLM, LangChain…) nicht, um darauf ein RAG-System aufzubauen. Wenn von lokalem RAG mit Ollama die Rede ist, geht es daher immer um eine Kombination aus Ollama und einer RAG-Oberfläche.

i
Das richtige mentale Modell
Ollama = der Motor (zwei Dienste: LLM für Antworten + LLM für Embeddings). Open WebUI oder AnythingLLM = die Verarbeitungskette: Einlesen der Dokumente, Aufteilung in Chunks, Berechnung der Embeddings, Speicherung in einer Vektordatenbank, Suche, Einfügen in den Prompt. Es muss keine einzige Zeile Code geschrieben werden.

#Voraussetzungen

Ollama installiert
Unter Windows, macOS oder Linux. Standardmäßig lauscht Ollama auf http://localhost:11434.
Ein Antwortmodell
Granite 4.2 8B oder Qwen 3.5 9B in Q4_K_M. Etwa 5 bis 7 GB VRAM oder RAM einplanen.
Ein Embeddings-Modell
nomic-embed-text oder mxbai-embed-large. ~300 MB. Unverzichtbar, um Dokumente zu vektorisieren.
Docker (bei Wahl von Open WebUI)
Docker Desktop unter Windows/macOS oder docker.io unter Linux. Das ist die empfohlene Installationsmethode.
Festplattenspeicher
Mindestens 10 GB für das LLM-Modell, die Embeddings und den Vektorindex Ihrer Dokumente.
Die beiden Ollama-Modelle vorbereiten
# Le LLM qui va répondre
ollama pull qwen3.5:9b

# Le modèle d'embeddings (obligatoire pour le RAG)
ollama pull nomic-embed-text

# Vérifier que les deux sont bien là
ollama list

#1. Open WebUI: integrierte Wissensdatenbank

Open WebUI (ehemals Ollama WebUI) ist die beliebteste ChatGPT-ähnliche Oberfläche für Ollama. Mit der Funktion Knowledge (Wissensbasis) können Sie Dokumente hochladen und per RAG Fragen dazu stellen, ohne etwas im Code konfigurieren zu müssen.

  1. 01
    Open WebUI mit Docker starten
    Verwenden Sie den folgenden Befehl, wenn Ollama auf dem Host läuft. Im Container bezeichnet host.docker.internal den Host; localhost bezeichnet den Container selbst. Unter Linux stellt die Option host-gateway diese Auflösung bereit, aber Ollama muss außerdem auf einer vom Docker-Bridge-Netzwerk aus erreichbaren Adresse lauschen.
  2. 02
    Oberfläche öffnen
    Öffnen Sie http://localhost:3000 und erstellen Sie das erste Administratorkonto. Überprüfen Sie in den Administratorverbindungen die URL Ollama http://host.docker.internal:11434. Wenn der Server die Verbindung unter Linux ablehnt, konfigurieren Sie seine Abhörschnittstelle und beschränken Sie den Zugriff auf die autorisierten Rechner und Container.
  3. 03
    Eine Wissensdatenbank erstellen
    Zu Workspace → Knowledge → + Create a Knowledge Base gehen. Einen Namen vergeben (z. B. „Kundenverträge“). Das ist Ihr Vektorcontainer.
  4. 04
    Dokumente importieren
    Oben rechts in der Wissensdatenbank auf das + klicken und anschließend Ihre PDF-, .docx-, .md- und .txt-Dateien hochladen. Open WebUI zerlegt sie in Abschnitte und berechnet die Embeddings im Hintergrund.
  5. 05
    Das Embedding-Modell konfigurieren
    Wählen Sie in den Administratoreinstellungen für Dokumente Ollama und dasselbe Embedding-Modell, das die Dateien indizieren wird. Prüfen Sie seine Leistung auf Französisch anhand einiger Fragen, deren Antworten Sie kennen; ein Modellwechsel erfordert eine erneute Indizierung.
  6. 06
    Die Wissensdatenbank abfragen
    In einem neuen Chat # und anschließend den Namen der Wissensdatenbank eingeben, um sie anzuhängen. Eine Frage stellen – die Antwort wird anhand der relevanten Chunks generiert, mit anklickbaren Quellenverweisnummern.
Open WebUI: Ollama auf dem Host, Oberfläche auf diesem Rechner
docker run -d -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui --restart unless-stopped \
  ghcr.io/open-webui/open-webui:main
# Linux : host-gateway résout l'adresse, mais ne change pas l'écoute d'Ollama.
# Vérifiez la connexion avant d'importer et d'indexer tous vos documents.
→
Tipp zum schnellen Anhängen von Dateien
Wenn Sie nur ein oder zwei PDF-Dateien befragen möchten, ohne eine Datenbank anzulegen, können Sie auch eine Datei direkt in den Chatbereich ziehen und ablegen. Open WebUI wechselt für die Dauer des Gesprächs in den RAG-Modus, der sich ausschließlich auf dieses Dokument bezieht.

#2. AnythingLLM: Workspaces und Quellenangaben

AnythingLLM ist die ausgereifteste Alternative zu Open WebUI im Bereich RAG. Während Open WebUI vielseitig ausgelegt ist, basiert AnythingLLM auf dem Workspace-Konzept: Jedes Projekt hat seine eigene Dokumentenbasis, sein eigenes Modell und seinen eigenen Verlauf. Ideal, wenn Sie „Kundenverträge“, „Persönliche Notizen“ und „Technische Dokumentation“ voneinander trennen möchten.

  1. 01
    AnythingLLM installieren
    Das Desktop-Installationsprogramm für Windows, macOS oder Linux von useanything.com herunterladen. Es handelt sich um eine Electron-Anwendung – für die Desktop-Version ist Docker nicht erforderlich.
  2. 02
    Ollama als LLM-Anbieter wählen
    Beim ersten Start fragt der Assistent, welches LLM verwendet werden soll. Ollama auswählen, die URL http://localhost:11434 angeben und qwen3.5:9b aus der automatisch geladenen Liste auswählen.
  3. 03
    Die Embedding-Engine wählen
    Nächster Schritt: Embedder. Ollama und das Modell nomic-embed-text auswählen. AnythingLLM kann auch seinen integrierten lokalen Embedder verwenden, wenn Sie nomic-embed-text nicht heruntergeladen haben – weniger gut, aber ohne Konfigurationsaufwand.
  4. 04
    Workspace erstellen
    In der Seitenleiste: + New Workspace. Einen Namen vergeben. Darauf klicken, dann auf das Upload-Symbol, um Ihre PDFs, .docx-, .csv- und .epub-Dateien, URLs oder sogar YouTube-Videos (automatische Transkription) hineinzuziehen.
  5. 05
    Dokumente → Arbeitsbereich verschieben
    AnythingLLM trennt die Aufnahme der Dokumente (links aufgelistet) von ihrer Nutzung (Workspace rechts). Die Dokumente auswählen, auf „Move to Workspace“ und dann auf „Save and Embed“ klicken. Dabei werden die Embeddings über Ollama berechnet.
  6. 06
    Mit Quellenangaben chatten
    Im Workspace die eigene Frage stellen. Jede Antwort enthält einen ausklappbaren Bereich „Citations“, der genau zeigt, welche Chunks verwendet wurden. Sehr hilfreich, um zu überprüfen, ob das Modell halluziniert hat.
Open WebUI
Besser geeignet, wenn Sie eine vielseitige Oberfläche ähnlich wie ChatGPT wünschen, die mehrere Benutzer unterstützt (Team) und Webzugriff bietet. RAG ist dabei eine Funktion unter vielen.
AnythingLLM
Besser, wenn RAG der Hauptanwendungsfall ist: strikt abgegrenzte Workspaces, gut umgesetzte Quellenangaben, Unterstützung für mehr Formate (URL, YouTube, GitHub), integrierte Agenten.

#3. Welches Embedding-Modell wählen?

Das Embedding-Modell ist der Baustein, den viele übersehen. Es wandelt Ihre Dokumente in Vektoren um – seine Qualität bestimmt unmittelbar die Relevanz der gefundenen Passagen. Bei französischen Dokumenten sind einige Modelle deutlich besser als andere.

nomic-embed-text (137M, 274 MB)
Ein leichtes Modell für den Einstieg, das vor allem anhand englischer Daten dokumentiert ist. Für eine RAG-Anwendung mit nomic v1.5 müssen Abfragen und Dokumente die vom Modell erwarteten Präfixe erhalten; überprüfen Sie, ob die Schnittstelle sie anwendet. Bewerten Sie den Recall auf Ihrem französischen Korpus.
mxbai-embed-large (335M, 670 MB)
Modell mit hauptsächlich englischer Ausrichtung. Es ist in der Bibliothek Ollama etwa 670 MB groß, was nicht seiner Parameteranzahl entspricht. Vergleichen Sie seine Relevanz anhand Ihrer Dokumente, statt anzunehmen, dass es immer präziser sein wird.
bge-m3 (567M, 1.2 GB)
Direkt verfügbares mehrsprachiges Modell: ollama pull bge-m3. Für diesen Ablauf müssen Sie nicht mehr über ein import manuel von Hugging Face gehen. Testen Sie die Suchqualität anhand Ihrer französischen Dokumente.
snowflake-arctic-embed
Es gibt mehrere Versionen mit unterschiedlichen Sprachen und Fähigkeiten. Überprüfen Sie vor der Auswahl das genaue Modell und sein Modellprofil; der Familienname allein garantiert keine Unterstützung für Französisch.
→
Faustregel für Französisch
Beginnen Sie mit nomic-embed-text. Wenn Ihre RAG-Ergebnisse bei französischsprachigen Fach-PDFs (juristisch, medizinisch) schlecht sind, wechseln Sie zu bge-m3 oder einem spezialisierten Modell wie Solon. Ein Wechsel des Embedding-Modells erfordert eine Neuindexierung der gesamten Datenbank – denken Sie daran, bevor Sie 5.000 Dokumente einladen.

#4. Lokales RAG auf 4 GB RAM, ohne GPU

Ja, das ist machbar. RAG ist weniger ressourcenhungrig, als man denkt: Der größte Aufwand (Embeddings) fällt nur beim Einlesen an, und bei der Nutzung antwortet lediglich das LLM mit einigen Tausend zusätzlichen Kontexttokens. Auf einer kleinen Maschine kommt es bei der Abwägung vor allem auf das LLM an, das die Antworten liefert.

4 GB RAM, langsame CPU (alter Laptop)
LLM: qwen3.5:2b oder granite4.2:3b in Q4_K_M (~2 GB). Embeddings: nomic-embed-text. Langsame, aber lesbare Antworten (3–5 Tok/s). Der Kontext des LLM wird auf 2048 gesetzt, um unter der RAM-Grenze zu bleiben.
8 GB RAM, aktuelle CPU (i5/Ryzen 5)
LLM: qwen3.5:4b Q4 (~3,4 GB) oder gemma4:e2b-it-qat. Embeddings: nomic-embed-text. ~6–10 Tokens/s. Das ist die Konfiguration „gar nicht schlecht“ ohne GPU.
16 GB RAM, ohne GPU
LLM: granite4.2:8b oder qwen3.5:9b Q4 (~5–7 GB). Embeddings: nomic oder mxbai. ~4–8 Tokens/s im reinen CPU-Betrieb auf einem neueren Ryzen 7 oder i7.
Minimales, RAM-schonendes Setup
# Petit LLM rapide, embeddings standards
ollama pull qwen3.5:2b
ollama pull nomic-embed-text

# Réduire le contexte pour économiser la RAM
# Dans Open WebUI : Settings → Models → qwen3.5 → num_ctx = 2048
# Dans AnythingLLM : Workspace settings → Max Tokens = 2048

# Vérifier l'usage RAM en pleine question :
ollama ps
!
Indexierung = Lastspitze
Das Einlesen großer Dokumente (Hunderte von Seiten) ist der aufwendigste Schritt – jeder Chunk muss vom Embedding-Modell verarbeitet werden. Teilen Sie den Import auf einem kleinen Rechner auf: Importieren Sie die Dokumente in Gruppen von 10–20 und lassen Sie die Indexierung abschließen, bevor Sie fortfahren. Andernfalls kann Ollama den RAM vollständig belegen und mitten im Vorgang abstürzen.

#Fehlerbehebung

Das Modell „sieht“ meine Dokumente nicht
Prüfen Sie, ob die Wissensbasis dem Chat tatsächlich zugeordnet ist (Open WebUI: Befehl #, AnythingLLM: Workspace-Symbol). Prüfen Sie außerdem, ob die Dokumente tatsächlich „embedded“ sind und nicht nur hochgeladen wurden.
Sehr langsame Antworten bei kleinen Modellen
RAG fügt dem Kontext 1000 bis 3000 Tokens hinzu. Verringern Sie den Parameter top-k in den RAG-Einstellungen (3 bis 5 Chunks statt 10) und setzen Sie den Parameter num_ctx des LLM auf 2048 oder 4096 herunter.
Halluzinationen trotz der Dokumente
Erhöhen Sie den top-k-Wert und prüfen Sie, ob das Embedding-Modell tatsächlich dasselbe ist, das zur Indexierung verwendet wurde (ein Modellwechsel macht die Datenbank ungültig). Aktivieren Sie Quellenangaben, um zu sehen, was das LLM tatsächlich gelesen hat.
Open WebUI sieht Ollama nicht
Verwenden Sie in Docker host.docker.internal zusammen mit --add-host=host.docker.internal:host-gateway und der URL http://host.docker.internal:11434. Prüfen Sie außerdem, ob Ollama auf einer für den Container zugänglichen Schnittstelle lauscht. Wenn Sie diesen Namen in localhost ändern, können Sie den Server des Hosts nicht erreichen.
AnythingLLM hängt bei der Erstellung der Embeddings
Oft fehlt es an RAM. Schließen Sie andere Apps, teilen Sie den Import auf oder wechseln Sie zu einem leichteren Embedding-Modell (nomic statt bge-m3).

#Quellen und Überprüfung vom 14. Oktober 2026

Offizielle Dokumentation am 14. Oktober 2026 überprüft. Die Anforderungen können sich ändern: Konsultieren Sie diese Quellen vor einer Installation.

#Weiterführende Informationen

Sobald Ihr lokales RAG-System mit Ollama eingerichtet ist, bieten sich mehrere weiterführende Anleitungen an:

Lokales RAG: Einführung
Der konzeptionelle Leitfaden, der erklärt, was unter der Haube passiert (Chunking, Embeddings, Retrieval) — nützlich, um zu verstehen, warum es funktioniert oder nicht.
Die besten Embedding-Modelle für Französisch
Detaillierter Vergleich von BGE, E5 und Solon für französischsprachige Inhalte – wann Sie von nomic-embed-text zu einem anderen Modell wechseln sollten.
Open WebUI mit Ollama: der komplette Guide
Um mit Open WebUI über RAG hinauszugehen: Mehrbenutzerbetrieb, Profile, benutzerdefinierte Prompts, Pipelines.
Ein LLM ohne GPU betreiben
Detaillierter Leitfaden für den reinen CPU-Betrieb mit Benchmarks in Tokens pro Sekunde für die einzelnen CPUs – wenn Sie Ihr RAG-Setup ohne Grafikkarte optimieren möchten.
Hat Ihnen dieser Guide geholfen?

Haben Sie Feedback, einen Fehler entdeckt oder möchten Sie etwas präzisieren? Geben Sie uns Bescheid – so wird der Guide für alle besser.