Ein lokales RAG, das
wirklich etwas taugt

Wie unterscheidet sich das vom lokalen KI-Kit, das bereits ein Kapitel zu RAG enthält?

Das lokale KI-Kit (Kap. 8) richtet Ihnen per Mausklick einen RAG in AnythingLLM oder Open WebUI ein – eine PDF-Datei hineinziehen, eine Frage stellen: Für eine gelegentliche Nutzung funktioniert das. Dieses Kit beginnt dort, wo dieses Kapitel aufhört: messtechnisch überprüftes Chunking, ein Vergleich französischer Embeddings, ein skalierbarer Vektorindex, hybride Suche, Reranking und vor allem eine Methode, um zu überprüfen, ob Ihr RAG richtig antwortet – und nicht nur, ob er überhaupt antwortet. Inhalte aus Kap. 8 werden hier nicht erneut erklärt; behandelt werden ausschließlich die fortgeschrittenen Einstellungen und die Bausteine, die bei der Einrichtung per Mausklick fehlen.

Wie unterscheidet sich das von den 7 kostenlosen RAG-Anleitungen auf der Website?

Die kostenlosen Anleitungen von QuelLLM.fr behandeln jede Komponente einzeln (ChromaDB allein, Chunking allein, hybride Suche mit BM25 allein, Zotero allein …). Das Set fügt die vollständige Pipeline in der richtigen Reihenfolge zusammen (Ingestion → Chunking → Embeddings → Index → hybride Suche → Reranking → Generierung → Quellenangabe → Messung), stellt die Verbindungen her, die jede einzelne Anleitung für sich nicht herstellt, und liefert die 20 getesteten Dateien (Skripte, Vorlagen, Vergleiche), die keine einzelne Anleitung bietet – bezahlt werden die Zusammenstellung und die Skripte, nicht die grundlegenden Informationen.

Muss man in Python programmieren können, um diesem Kit folgen zu können?

Python 3.10+ ist nützlich und hilft Ihnen in den meisten Kapiteln (Kap. 4 bis Kap. 12) — die Skripte werden mitgeliefert und müssen angepasst, nicht von Grund auf neu geschrieben werden. Kapitel 13 (Open WebUI Knowledge, AnythingLLM mit erweiterten Einstellungen) bleibt zugänglich, ohne eine Zeile Code schreiben zu müssen. Dieses Kit setzt einen sicheren Umgang mit der Kommandozeile voraus; wenn Sie bei lokaler KI bei null anfangen, beginnen Sie mit dem lokalen KI-Kit.

Wie lange dauert es bis zu einem ersten konkreten Ergebnis?

Kapitel 1 bietet 3 schnell umsetzbare Verbesserungen, die jeweils weniger als 30 Minuten dauern und sich auf ein bereits bestehendes RAG-System anwenden lassen (Schnellaudit, Wechsel des Embedders mit einem einzigen Befehl, eine überprüfbare Quellenangabe verlangen) – Sie erzielen eine messbare Verbesserung, noch bevor Sie die vollständige Pipeline angehen. Der Aufbau einer vollständigen Pipeline mit Ihrem eigenen Korpus (Teile 2 bis 4) erfordert mehrere Sitzungen, nicht eine Stunde.

Auf welchem Gerät funktioniert das?

Zwei Referenzprofile, die bei jedem Beispiel genannt werden: ein PC mit 8 bis 16 GB VRAM (das empfohlene Modell für die Generierung hängt davon ab, ob die untere oder obere Grenze zugrunde liegt) oder ein Mac mit Apple Silicon und 24 GB gemeinsamem Speicher. Bei RAG ist der Engpass fast nie die Generierung, sondern die Datenaufnahme (OCR, Embeddings) und die Größe des Index – die beiden Profile decken den Großteil der tatsächlich eingesetzten Konfigurationen für professionelle Nutzung und Entwicklung ab.

Bleiben meine Dokumente vertraulich?

Genau darum geht es: Die Pipeline (Datenaufnahme, Embeddings, Index, Generierung) läuft vollständig auf Ihrem Rechner; nichts wird an Dritte übertragen. Kapitel 15 behandelt speziell, was das für einen Bestand an E-Mails oder sensiblen Dokumenten bedeutet. Für eine Bereitstellung mit mehreren Nutzern im Unternehmen (DSGVO, AI Act, Serverarchitektur) ist das Unternehmen-Kit für lokale KI (quelllm.fr/kit-ia-entreprise) vorgesehen, nicht dieses Kit.

Deckt das Kit Agenten oder Automatisierung ab?

Kapitel 12 zeigt, wie ein minimaler Agent RAG als Werkzeug nutzt (ein Agent, zwei Werkzeuge) — gerade genug, um das Prinzip zu verstehen, mit einem ausdrücklichen Verweis auf das Kit lokaler Agenten (quelllm.fr/kit-agents-locaux) für die Orchestrierung mehrerer Schritte, MCP oder n8n. Diese Themen sind nicht Gegenstand des vorliegenden Kits.

Wie wird es bereitgestellt, und wie lange haben Sie Zugriff darauf?

Sofortiger Zugriff nach der Zahlung: Ihr Online-Bereich auf Lebenszeit (immer mit der neuesten Ausgabe) sowie das PDF und das ZIP-Archiv mit den 20 Dateien zum Herunterladen – beides gehört Ihnen für immer. Künftige Aktualisierungen (neue Embedder, neue Vektordatenbanken, Weiterentwicklungen der Frameworks) erscheinen in Ihrem Online-Bereich, ohne dass Sie erneut bezahlen müssen.

Kann ich eine Rechnung erhalten?

Ja, automatisch. Sobald die Zahlung (Stripe) erfolgt ist, erhalten Sie per E-Mail Ihre Stripe-Quittung und Ihre PDF-Rechnung auf den Namen von Falcon Consulting (Herausgeber von QuelLLM) an Ihre angegebenen Kontaktdaten – geben Sie im vorgesehenen Feld zum Zeitpunkt der Zahlung Ihr Unternehmen oder Ihre SIREN-Nummer an. Keine Mehrwertsteuer, Art. 293 B des CGI.

Bleibt das Kit aktuell? Vektordatenbanken und RAG-Frameworks entwickeln sich schnell.

Das ist das Prinzip lebenslanger Updates: Wenn sich der Status eines Embedders ändert, eine Vektordatenbank ausgereifter wird oder ein Framework eine bestehende Kompatibilität aufhebt, wird die Ausgabe entsprechend aktualisiert – wie bei den anderen QuelLLM-Kits. Kapitel 16 erklärt außerdem, wie Sie zwischen zwei Ausgaben selbst prüfen können, ob eine zitierte Tatsache noch aktuell ist.

Und wenn ich mehrere QuelLLM-Kits möchte?

Das Bundle „Alle Kits, lebenslang“ umfasst alle aktuellen und zukünftigen Kits für 49 €. Wenn Sie bereits ein Kit für 24 € gekauft haben, kostet das Upgrade auf das Bundle 25 €, nicht 49 € — der Coupon wird automatisch angewendet.

Was genau ist RAG?

RAG (Retrieval-Augmented Generation) bedeutet, dass ein LLM vor seiner Antwort in Ihren eigenen Dokumenten nach Informationen sucht, statt ausschließlich mit dem zu antworten, was es während seines Trainings gelernt hat – grundsätzlich mit einer überprüfbaren Quellenangabe. Das lokale RAG-Kit baut diese vollständige Pipeline auf Grundlage Ihrer PDFs, Ihrer Bibliografie oder Ihrer E-Mails auf und misst ihre Leistung.

Wie lässt sich Ollama an ein RAG anbinden?

Ollama dient in einer RAG-Pipeline als Engine für die Textgenerierung und häufig auch für die Erzeugung von Embeddings: Für den gelegentlichen Einsatz lässt sich ein per Mausklick bedienbares Tool wie AnythingLLM oder Open WebUI Knowledge direkt damit verbinden. Für eine Pipeline, die auch mit Hunderten von Dokumenten zuverlässig funktioniert, zeigt das RAG Local-Kit, wie Sie Ollama mit ChromaDB oder Qdrant verbinden – mit einem getesteten Skript statt nur einer Benutzeroberfläche.

Welches LLM sollte man für ein lokales RAG wählen?

Die Modellwahl ist weniger entscheidend als die Pipeline drumherum: Ein universell einsetzbares Modell, das auf Ihrem Rechner läuft, reicht für die Generierung aus, sofern das vorgelagerte Retrieval (Chunking, Embeddings, hybride Suche, Reranking) ihm die richtigen Textpassagen zum Lesen liefert. Das RAG Local-Kit erläutert diese gesamte Verarbeitungskette, nicht nur die Wahl des abschließenden Modells.