LibreChat: die webbasierte, mehrbenutzerfähige Schnittstelle für LLM locaux

#Was LibreChat ist

Das ist der Teil einer lokalen Installation, der die Benutzeroberfläche bereitstellt. Das Modell läuft separat — mit Ollama, vLLM oder llama.cpp — und LibreChat liefert alles rund um das Gespräch: den Verlauf, die Konten und die Authentifizierung, die Voreinstellungen, die Dateianhänge, die Agenten und die Suche in früheren Gesprächen. Das Projekt steht unter der MIT-Lizenz, sodass weitgehend klar ist, was damit erlaubt ist: es zu nutzen, zu verändern und weiterzuverbreiten, auch kommerziell, ohne Verpflichtung, den Code zurückzugeben.

Das Projekt beschreibt sich selbst als selbst gehostete KI-Chatplattform, die alle großen KI-Anbieter in einer einzigen, datenschutzorientierten Oberfläche vereint. Über den klassischen Chat hinaus bietet es Agenten, Unterstützung für das MCP-Protokoll, Artefakte zur übersichtlichen Darstellung von Code und Diagrammen, einen Code-Interpreter, benutzerdefinierte Aktionen und eine Mehrbenutzer-Authentifizierung, die eher für Unternehmen als für einen einzelnen Arbeitsplatz konzipiert ist.

Am deutlichsten zeigt sich die Ausrichtung auf mehrere Anbieter: Innerhalb derselben Unterhaltung kann man von einem lokalen zu einem entfernten Modell wechseln. Das ist nützlich, aber diese Einstellung muss auch besonders genau im Blick behalten werden, wenn keine Daten das eigene System verlassen sollen: Die technische Möglichkeit besteht, lässt sich in der Konfiguration deaktivieren und sollte nach jedem Update überprüft werden, statt sie ein für alle Mal einzustellen.

#Für wen ist dies geeignet?

Das entscheidende Unterscheidungskriterium ist die Zahl der Benutzer. Sobald sich mehrere Personen authentifizieren und ihre eigenen Unterhaltungen wiederfinden müssen, reicht eine Desktop-Anwendung nicht mehr aus. LibreChat ist genau für diesen Fall konzipiert: Authentifizierung über OAuth2, LDAP oder ein einfaches E-Mail-Konto, integrierte Moderation und Erfassung des Tokenverbrauchs pro Benutzer.

Ein weiteres, weniger offensichtliches Unterscheidungskriterium ist der Bedarf an einer webbasierten Administrationsoberfläche statt einer Konfigurationsdatei, die von Hand bearbeitet werden muss. Ein kleines technisches Team kommt mit Open WebUI und einigen Einstellungen gut zurecht; ein Team, dem auch Personen ohne technischen Hintergrund angehören oder das Rollen ändern beziehungsweise einer Person mit wenigen Klicks den Zugriff entziehen können muss, profitiert stärker von der mit LibreChat gelieferten Administrationsoberfläche.

#Mit Docker installieren

1. 01
   Repository und Umgebungsdatei herunterladen

   Das Projekt stellt eine Docker-Compose-Konfiguration und eine Beispieldatei zum Kopieren bereit. Sie ändern diese Datei, nicht die Compose-Konfiguration selbst.
2. 02
   Geheime Werte generieren

   Verschlüsselungsschlüssel und Sitzungsgeheimnisse dürfen niemals auf den Beispielwerten aus der Vorlagendatei belassen werden. Das Projekt erklärt, wie sie korrekt erzeugt werden; diese fünf Minuten verhindern, dass die Installation vom ersten Tag an ungeschützt ist.
3. 03
   Den Stack starten

   Die Webanwendung, die Datenbank und die Administrationsoberfläche starten gemeinsam mit den offiziellen Docker-Compose-Konfigurationen, die das Projekt bereitstellt. Die Oberfläche ist dann über einen lokalen Port erreichbar und bereit für die Erstellung des ersten Administratorkontos.
4. 04
   Das erste Konto erstellen, dann weitere Registrierungen deaktivieren

   Die Registrierung auf einer über das Internet erreichbaren Instanz offen zu lassen, kommt einer Einladung an jeden beliebigen Nutzer gleich, Ihre GPU auf Ihre Stromkosten zu nutzen.

Updates folgen demselben Prinzip wie bei jeder Anwendung mit Datenbank: Man liest die Versionshinweise, bevor man ein neues Image herunterlädt, erstellt eine Sicherung und führt dann das Update durch. Das Projekt veröffentlicht regelmäßig neue Funktionen – Agenten, MCP, ein Administrationspanel. Das ist ein Grund, die Versionen genau im Blick zu behalten, und kein Vorwand, Schritte zu überspringen.

#An Ollama anschließen

In LibreChat werden die Anbieter in einer eigenen Konfigurationsdatei festgelegt; Ollama wird dabei als OpenAI-kompatibler Endpunkt behandelt. Zwei Stolperfallen treten immer wieder auf, und beide lassen sich in wenigen Minuten beheben, sobald sie erkannt sind.

localhost bezeichnet den Container

Innerhalb eines Docker-Containers benötigen Sie die Adresse des Hosts, unter der er aus Sicht des Containers erreichbar ist. Außerdem muss Ollama auf der Netzwerkschnittstelle lauschen und nicht nur auf der Loopback-Schnittstelle.

Die Liste der Modelle

Je nach Konfiguration werden die Modelle automatisch vom Server abgerufen oder manuell eingetragen. Eine leere Liste in der Benutzeroberfläche bedeutet fast immer, dass die Basisadresse falsch ist, nicht, dass das Modell fehlt.

Wenn mehrere Personen gleichzeitig chatten, geht es nicht mehr um die Benutzeroberfläche, sondern um den Inferenzserver: Ein für einen einzelnen Benutzer ausgelegter Server verarbeitet die Anfragen nacheinander, und die dritte Person muss warten. Diese Architekturentscheidung sollte früh getroffen werden, bevor sich das Team an Antwortzeiten gewöhnt, die sich zu Spitzenzeiten verschlechtern.

LibreChat kann auch mehrere Anbieter in einer einzigen Instanz kombinieren: ein lokales Modell für die tägliche Arbeit und einen entfernten Anbieter für gelegentliche Aufgaben, die die Kapazitäten der lokalen Hardware übersteigen. Der Wechsel erfolgt pro Unterhaltung, was praktisch ist. Genau deshalb müssen Sie im Voraus entscheiden, welche Anbieter weiterhin zugelassen sind, statt dies erst im Nachhinein in den Nutzungsprotokollen festzustellen.

• Open WebUI: die andere maßgebliche Weboberfläche
• Mehrere Nutzer mit vLLM bedienen
• Lokale KI in Unternehmen: der DSGVO-Rahmen

#Mit den eigenen Dokumenten chatten

LibreChat kann Dateien an eine Unterhaltung anhängen und Antworten auf Grundlage ihres Inhalts geben. Technisch übernimmt ein von der Benutzeroberfläche getrennter Dienst diese Aufgabe – ein eigener RAG-API-Dienst, den das Projekt separat veröffentlicht: Er zerlegt die Dokumente, kodiert sie als Vektoren und speichert sie. Er wird neben der Benutzeroberfläche bereitgestellt und benötigt ein Embedding-Modell, das nicht das Gesprächsmodell ist.

Zwei Feststellungen gelten für alle Tools dieser Kategorie: Eine PDF-Datei, die nur aus einem Scan besteht, enthält keinen Text, solange sie nicht mit optischer Zeichenerkennung verarbeitet wurde, und wird daher ohne Textinhalt indexiert. Außerdem hängt die Relevanz vor allem vom gewählten Embedding-Modell ab – ein Punkt, der besonders bei Dokumenten auf Französisch statt auf Englisch ins Gewicht fällt.

#Agenten und MCP-Protokoll

Über einfache Chats hinaus bietet LibreChat KI-Agenten mit Unterstützung für das Model Context Protocol (MCP). Damit kann sich ein Agent mit externen Werkzeugservern verbinden, statt seine Antworten auf sein bereits vorhandenes Wissen zu beschränken. Ein Agent kann außerdem die Dateisuche nutzen, Code ausführen und gezielt mit bestimmten Nutzern oder Gruppen geteilt werden, statt mit der gesamten Instanz. Ein Katalog von Community-Agenten ermöglicht es, bereits von anderen konfigurierte Agenten zu entdecken und bereitzustellen, statt für jeden neuen Anwendungsfall bei null anzufangen.

Ein über den Browser zugänglicher Administrationsbereich ermöglicht es, Benutzer, Gruppen, Rollen und Berechtigungen zu verwalten und Einstellungen im laufenden Betrieb zu ändern, ohne den Stack erneut bereitzustellen. Er ist in den offiziellen Docker-Compose-Konfigurationen enthalten, sodass kein zusätzlicher Dienst separat installiert werden muss. Dort lässt sich mit wenigen Klicks einer Person der Zugriff entziehen oder der Zugriff auf einen Anbieter sperren, statt eine Konfigurationsdatei zu bearbeiten.

• MCP: Was es ist und wie es funktioniert
• KI-Agent: Definition und Beispiele

#Mehrere Benutzer: Was konfiguriert werden muss

Registrierung geschlossen

Konten, die von einem Administrator erstellt wurden, oder Beschränkung auf eine E-Mail-Domain.

Zulässige Anbieter

Wenn zugesichert wird, dass keine Daten nach außen gelangen, müssen externe Anbieter in der Konfiguration deaktiviert werden, statt dies lediglich in den Nutzungsvorgaben festzulegen. Eine mündliche Anweisung hindert niemanden daran, eine Unterhaltung mit einem Klick auf einen externen Anbieter umzustellen.

Kontingente

Ein gemeinsam genutztes lokales Modell verursacht keine Rechnung, hat aber eine Warteschlange. Limits pro Benutzer schützen zusammen mit der in die Administration integrierten Verbrauchsüberwachung den Nutzungskomfort aller, statt der zuerst angemeldeten Person zu erlauben, die GPU für sich allein zu beanspruchen.

Aufbewahrung

Die Gespräche bleiben standardmäßig auf unbestimmte Zeit in der Datenbank gespeichert. Legen Sie eine Aufbewahrungsdauer fest, die zu den für Sie geltenden regulatorischen Anforderungen passt, halten Sie sie in einer internen Richtlinie fest und setzen Sie sie dann tatsächlich um, statt sie nur auf dem Papier stehen zu lassen.

Agenten und MCP-Tools

Bestimmen Sie, wer Agenten erstellen, einen MCP-Server verbinden oder einen Agenten im gemeinsamen Katalog der Teammitglieder veröffentlichen darf. Ein falsch konfigurierter Agent handelt im Namen der Person, die ihn erstellt hat, nicht nur im Namen dieser Person.

#Die Grenzen

LibreChat ist eine Anwendung, die administriert werden muss: Updates, Backups, Zugangsdaten und Datenbank. Es ist keine ausführbare Datei, die man per Doppelklick startet, und der Aufwand lohnt sich erst bei mehreren Nutzern — für eine einzelne Person erzielt eine All-in-one-Desktop-Anwendung dasselbe Ergebnis mit deutlich weniger Verwaltungsaufwand.

Einige erweiterte Funktionen erfordern zusätzliche Dienste – den Dienst zum Chatten mit Dokumenten, die Codeausführung, bestimmte Agenten – und damit mehr Speicher und mehr Container, die auf einem Rechner überwacht werden müssen, der bereits ein Modell betreibt. Auf einem Server mit begrenzten Ressourcen ist es besser, diese Funktionen einzeln zu aktivieren und bei jedem Schritt die Speichernutzung zu überprüfen, statt alles auf einmal zu starten.

Schließlich ändert die Benutzeroberfläche nichts an der Qualität der Antworten: Ein Modell mit 8 Milliarden Parametern antwortet wie ein Modell mit 8 Milliarden Parametern, egal, wie sorgfältig das Fenster gestaltet ist, das es umgibt, und wie viele Agenten und Tools daran angeschlossen sind.

#FAQ

• Quelle: GitHub-Repository von LibreChat
• Quelle: offizielle Dokumentation von LibreChat
• Quelle: Text der MIT-Lizenz von LibreChat