NotebookLM lokal: die Open-Source-Alternativen selbst gehostete

#Was macht NotebookLM und was kann man nachbauen?

Bevor NotebookLM nachgebaut wird, muss klar sein, was es tatsächlich bietet. Es ist kein allgemeiner Chatbot, sondern ein Assistent, der in einer von Ihnen ausgewählten Dokumentensammlung „verankert“ ist. Er antwortet ausschließlich auf Grundlage dieser Quellen, zitiert die entsprechenden Passagen und weigert sich theoretisch, Inhalte zu erfinden, die darin nicht vorkommen. Drei Bausteine machen dieses Nutzungserlebnis aus.

Quellen-Notebook

Man importiert PDF-Dateien, Webseiten, Notizen oder Transkripte. Sie bilden die einzige Quellenbasis, aus der der Assistent Informationen beziehen darf.

Die zitierten Antworten

Jede Aussage verweist auf die Quellenpassage, die sie stützt. So lässt sie sich mit einem Klick überprüfen, statt ihr blind vertrauen zu müssen.

Audio-Zusammenfassung (Audio Overview)

Zwei synthetische Stimmen diskutieren im Podcast-Stil über Ihre Dokumente, damit Sie beim Gehen eine Zusammenfassung anhören können, statt sie zu lesen.

Diese drei Funktionen lassen sich heute mit freien Bausteinen nachbilden. Die erste und die zweite sind nichts anderes als sorgfältig umgesetztes RAG (Retrieval-Augmented Generation): Indexierung der Quellen, Suche nach relevanten Passagen und Generierung einer Antwort, die auf diese verweist. Die dritte ist eine Pipeline von Text über Dialog zu Sprachsynthese (TTS). Nichts Exotisches – das Ganze läuft auf einem Rechner mit einer Einsteiger-GPU.

#Warum ein lokales NotebookLM nutzen?

Der wichtigste Grund ist die Vertraulichkeit. Ein Notebook enthält oft besonders sensible Inhalte: unveröffentlichte Forschungsnotizen, interne Unternehmensdokumente, Kundenakten, Verträge und medizinische Berichte. Sie bei Google abzulegen bedeutet, einem Dritten eine Kopie anzuvertrauen – unter Nutzungsbedingungen, die sich ändern und auf die Sie keinen Einfluss haben. Eine lokale Lösung nach dem Vorbild von NotebookLM einzurichten löst das Problem an der Wurzel: Die Dateien bleiben auf Ihrer Festplatte, die Inferenz läuft auf Ihrer Hardware.

Datensouveränität

Weder Dokumente noch Anfragen werden über einen Drittanbieterdienst übertragen. Unverzichtbar für die DSGVO, die berufliche Schweigepflicht oder vertrauliche Forschung und Entwicklung.

Keine Kontingente und kein Abonnement

Sobald der Stack eingerichtet ist, können Sie so viele Quellen verarbeiten, wie Ihre Festplatte und Ihre Geduld zulassen, ohne monatliches Limit.

Offline

Die gesamte Verarbeitungskette funktioniert ohne Verbindung, was unterwegs oder in einem isolierten Netzwerk wichtig ist.

Modellsteuerung

Sie wählen das LLM, die bevorzugte Sprache, die Quantisierung und die Einstellungen — statt einem Blackbox-Modell ausgeliefert zu sein.

#Überzeugende Open-Source-Alternativen

Mehrere Projekte wollen ausdrücklich ein lokales NotebookLM sein. Keines ist perfekt, aber alle lassen sich mit Ollama verbinden und entwickeln sich schnell weiter. Hier sind die Projekte, die 2026 überzeugen – von der größten Ähnlichkeit mit NotebookLM bis zu den umfangreichsten Möglichkeiten zum Basteln.

Open Notebook

Der treueste Nachfolger von NotebookLM: Konzept von Notebooks, Quellenverwaltung, zitiertes Chat-Verhalten und integrierte Podcast-Generierung. Open-Source, dockerisiert, kompatibel mit Ollama um 100 % lokal zu bleiben.

SurfSense

Ein Open-Source-Rechercheassistent, der auf mehrere Quellen ausgerichtet ist (Dokumente, Web, Konnektoren). Gut geeignet zum Zusammenführen und Abfragen von Informationen, mit Unterstützung für lokale LLMs.

Open WebUI / AnythingLLM

Keine Klone von NotebookLM, sondern zwei ausgereifte RAG-Oberflächen, die das Wesentliche abdecken: Dokumentimport, Chat mit Quellenangaben und lokale Embedding-Modelle. Der einfachste Weg für den Bereich „Quellen + Fragen und Antworten“.

Podcastfy

Eine Komponente, die ausschließlich dem Audioteil dient: Dokumente oder URLs in ein Gespräch mit zwei Stimmen umwandeln. Sie lässt sich mit einem lokalen LLM und einer TTS-Engine Ihrer Wahl steuern.

#Voraussetzungen

Ollama

Der Daemon, der die Modelle bereitstellt, standardmäßig unter http://localhost:11434. Falls die Installation noch nicht erfolgt ist, die Installationsanleitung konsultieren.

Ein Modell zur Generierung

Qwen 3.5 9B (≈6,6 GB VRAM in Q4_K_M, 256k Kontext und multimodal) oder Mistral Small 24B (≈14 GB) für hervorragendes Französisch; auf einem kleinen System reicht ein Granite 4.2 8B (≈5,3 GB) aus.

Ein Embeddings-Modell

nomic-embed-text oder mxbai-embed-large, über ollama pull herunterladbar. Sie sind ressourcenschonend und laufen sogar ohne GPU.

Docker

Die meisten Alternativen (Open Notebook, Open WebUI, AnythingLLM) werden in einem Container bereitgestellt, was Konflikte bei Abhängigkeiten vermeidet.

Eine lokale TTS-Engine

Piper für den Audioteil: schnell, schlank, mit französischen Stimmen. Für die Sprachsynthese ist nicht einmal eine GPU erforderlich.

# Modèle de génération (adaptez à votre VRAM)
ollama pull qwen3.5:9b

# Modèle d'embeddings pour le RAG
ollama pull nomic-embed-text

#Schritt 1: Mit Ollama ein Notebook für Ihre Quellen aufbauen

Der erste Baustein eines lokalen NotebookLM ist das Notebook selbst: der Ort, an dem die Quellen abgelegt und indexiert werden. Hier verwenden wir Open Notebook, das dieses Konzept getreu nachbildet. Es wird in einem Container gestartet und so konfiguriert, dass es mit Ihrer Ollama-Instanz statt mit einem Cloud-Dienst kommuniziert.

1. 01
   Projekt abrufen

   Klonen Sie das Repository von Open Notebook und wechseln Sie in dessen Verzeichnis. Es enthält eine sofort einsatzbereite docker-compose-Datei.
2. 02
   Ollama als Ziel festlegen

   In der Konfiguration (Umgebungsdatei) geben Sie Ollama als Modellanbieter und die URL http://localhost:11434 (oder http://host.docker.internal:11434 aus dem Container) an. Wählen Sie Ihr Generationsmodell und nomic-embed-text für die Embeddings.
3. 03
   Stack starten

   Führen Sie docker compose up aus. Die Weboberfläche öffnet sich dann im Browser, wobei die Datenbank und die Indexierung für Sie verwaltet werden.
4. 04
   Ein Notebook erstellen und importieren

   Erstellen Sie ein Notebook, ziehen Sie dann Ihre PDF-Dateien hinein und fügen Sie URLs oder Text ein. Jede Quelle wird automatisch in Abschnitte unterteilt und vektorisiert.

# Récupérer et lancer Open Notebook
git clone https://github.com/lfnovo/open-notebook.git
cd open-notebook

# Configurer le fournisseur Ollama dans le fichier d'environnement
cp .env.example .env
# éditez .env : OLLAMA_API_BASE=http://host.docker.internal:11434

# Démarrer la stack complète
docker compose up -d

Wenn Sie lieber kein weiteres Werkzeug hinzufügen möchten, eignen sich Open WebUI und AnythingLLM sehr gut als Quellen-Notebook: Man erstellt einen Arbeitsbereich (Workspace), importiert dort die Dokumente, und die Indexierung über nomic-embed-text erfolgt automatisch. Das ist der „No-Code“-Ansatz, der in den RAG-Anleitungen dieser Website ausführlich beschrieben wird.

#Schritt 2: Fragen und Antworten mit Quellenangaben

Das ist das Herzstück eines lokalen NotebookLM: eine Frage in natürlicher Sprache stellen und eine Antwort erhalten, die sich ausschließlich auf Ihre Quellen stützt, mit der genauen Textstelle als Beleg. Technisch ruft RAG die Textauszüge ab, die der Frage am nächsten kommen; anschließend formuliert das LLM seine Antwort auf dieser Grundlage – nicht auf Basis seines Allgemeinwissens. Die Qualität der Quellenbelege hängt vor allem von zwei Dingen ab: einem strengen System-Prompt und der ausdrücklichen Aufforderung, die Quelle anzugeben.

In Open Notebook wie auch in Open WebUI ist dieses Verhalten bereits integriert: Stellen Sie die Frage im Chat des Notebooks, und die Antwort zeigt die verwendeten Auszüge an. Wenn Sie Ihre eigene Verarbeitungskette aufbauen, macht der Systemprompt den entscheidenden Unterschied.

Tu réponds UNIQUEMENT à partir des extraits fournis ci-dessous.

Règles :
- Si la réponse ne figure pas dans les extraits, dis « Je ne trouve pas cette information dans les sources. »
- N'utilise jamais tes connaissances générales pour compléter.
- Après chaque affirmation, indique la source entre crochets, ex. [source 2].
- Cite mot pour mot le passage clé quand c'est utile.

Réponds en français, de façon concise.

Bei den Modelleinstellungen sind zwei Parameter wichtig. Eine niedrige Temperatur (0,2) begrenzt erfundene Ausschmückungen und hält das Modell eng an den Quellen. Ein ausreichend großes Kontextfenster (num_ctx) ermöglicht es, die abgerufenen Auszüge ohne Kürzung aufzunehmen – andernfalls antwortet das Modell nur auf Grundlage eines Teils der Passagen.

import requests

SYSTEM = open('prompt_systeme.txt').read()

# extraits = passages renvoyés par votre recherche vectorielle
contexte = "\n\n".join(
    f"[source {i+1}] {e}" for i, e in enumerate(extraits)
)

resp = requests.post("http://localhost:11434/api/chat", json={
    "model": "qwen3.5:9b",
    "stream": False,
    "options": {"num_ctx": 8192, "temperature": 0.2},
    "messages": [
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": f"{contexte}\n\nQuestion : {question}"},
    ],
})

print(resp.json()["message"]["content"])

#Schritt 3: Eine Audio-Zusammenfassung lokal erzeugen (TTS)

Das ist die charakteristische Funktion von NotebookLM – Audio Overview, zwei Stimmen, die über Ihre Dokumente diskutieren – und zugleich die beeindruckendste Funktion, die sich lokal nachbauen lässt. Die Pipeline besteht aus zwei Schritten: Das LLM schreibt anhand der Quellen ein Dialogskript, das anschließend von einer lokalen TTS-Engine in Audio umgewandelt wird. So bleiben sowohl die Stimme als auch der Text vollständig offline.

Erster Schritt: die Unterhaltung verfassen lassen. Wir bitten das LLM um einen Dialog zwischen zwei Figuren, der den Inhalt verständlich erklärt und jede Äußerung mit dem jeweiligen Sprecher kennzeichnet — diese Kennzeichnung dient dazu, bei der Sprachsynthese zwischen den Stimmen zu wechseln.

À partir des sources ci-dessous, écris un dialogue de podcast en français
entre deux animateurs, Alex et Camille, qui vulgarisent le contenu.

Règles :
- Format strict, une réplique par ligne : « Alex: ... » ou « Camille: ... ».
- Reste fidèle aux sources, n'invente aucun fait ni chiffre.
- Ton vivant et curieux, phrases courtes, adaptées à l'oral.
- 12 à 18 répliques, une vraie conversation qui se répond.

Der zweite Schritt ist die Sprachsynthese. Piper ist für den lokalen Einsatz die naheliegende Wahl: schnell, leichtgewichtig und mit französischen Stimmen von guter Qualität. Man weist Piper für jeden Sprecher eine Stimme zu (zwei unterschiedliche .onnx-Modelldateien), um Alex und Camille zu unterscheiden, und fügt anschließend die Audiosegmente zusammen.

# Installer Piper
pip install piper-tts

# Télécharger deux voix françaises depuis Hugging Face (rhasspy/piper-voices)
# ex. fr_FR-siwis-medium et fr_FR-upmc-medium (fichiers .onnx + .onnx.json)

# Synthétiser une réplique
echo "Bonjour et bienvenue dans cet épisode." | \
  piper --model fr_FR-siwis-medium.onnx --output_file alex_01.wav

import subprocess, re

VOIX = {
    "Alex": "fr_FR-siwis-medium.onnx",
    "Camille": "fr_FR-upmc-medium.onnx",
}

segments = []
for i, ligne in enumerate(open("script.txt")):
    m = re.match(r"(Alex|Camille):\s*(.+)", ligne.strip())
    if not m:
        continue
    locuteur, texte = m.group(1), m.group(2)
    wav = f"seg_{i:03d}.wav"
    subprocess.run(
        ["piper", "--model", VOIX[locuteur], "--output_file", wav],
        input=texte.encode(),
    )
    segments.append(wav)

# Concaténer les segments (ex. avec ffmpeg ou pydub)
print("Segments générés :", len(segments))

Damit Sie diese Pipeline nicht von Hand schreiben müssen, bietet Open Notebook eine integrierte Podcast-Generierung, und Podcastfy übernimmt genau diese Aufgabe „Dokumente → Audiogespräch“ mit einem lokalen LLM und der TTS-Engine Ihrer Wahl. Die oben beschriebene manuelle Pipeline bleibt hilfreich, um die Abläufe zu verstehen und die vollständige Kontrolle über die Stimmen und die Gestaltung zu behalten.

#Fehlerbehebung

Der Container erreicht Ollama nicht

Innerhalb eines Docker-Containers verweist localhost auf den Container. Verwenden Sie host.docker.internal (unter Linux über extra_hosts hinzugefügt) oder die IP-Adresse des Hosts und prüfen Sie bei Bedarf, ob Ollama auf 0.0.0.0 lauscht.

Antworten ohne Quellenangaben oder erfundene Antworten

Der Systemprompt ist nicht streng genug oder die Temperatur zu hoch. Geben Sie „ausschließlich auf Grundlage der Auszüge“ vor, verlangen Sie das Format [source N] und senken Sie die Temperatur auf 0,2.

Das PDF liefert bei der Indexierung keinen Inhalt

Es handelt sich um einen Scan ohne Textebene. Führen Sie vor dem Import eine OCR-Verarbeitung durch (ocrmypdf entree.pdf sortie.pdf).

Die Antwort berücksichtigt einen Teil der Quellen nicht

num_ctx ist zu klein: Die Textauszüge wurden gekürzt. Erhöhen Sie den Wert, wenn der VRAM ausreicht, oder reduzieren Sie die Anzahl der abgerufenen Textpassagen.

Piper findet die Stimme nicht

Für jede Stimme werden beide Dateien benötigt: die .onnx-Datei und die zugehörige .onnx.json-Datei im selben Verzeichnis. Prüfen Sie den genauen Pfad, der an --model übergeben wird.

Abgehackte Audiowiedergabe zwischen den Redebeiträgen

Beim direkten Aneinanderfügen werden die WAV-Dateien ohne Atempausen verbunden. Fügen Sie zwischen den Segmenten eine kurze Stille ein (mit ffmpeg oder pydub), damit das Ergebnis flüssiger klingt.

#Weiterführende Informationen

Dieser Leitfaden verbindet Bausteine, die bereits an anderen Stellen der Website ausführlich beschrieben sind. Zum Vertiefen der einzelnen Schritte:

Ollama installieren: Windows, macOS und Linux

Der Ausgangspunkt, um Ihre Modelle lokal über Port 11434 bereitzustellen, falls dies noch nicht eingerichtet ist.

Lokales RAG mit Ollama ohne Programmieren (Open WebUI, AnythingLLM)

Die Lösung ohne Programmierung für den Teil „Quellen + Fragen und Antworten mit Quellenangaben“ Ihres lokalen NotebookLM.

Zu 100 % lokaler Sprachassistent: Whisper + Ollama + Piper

Um sich eingehender mit Piper und lokaler Sprachsynthese zu beschäftigen – über die reine Audiozusammenfassung hinaus.