Jan: die Open-Source-Alternative zu ChatGPT

#Jan kurz erklärt: Was es 2026 ist

Jan ist eine freie Desktop-Anwendung von Menlo Research, die ChatGPT durch Modelle ersetzt, die auf Ihrem Rechner ausgeführt werden. Ihr Quellcode ist unter der Apache-2.0-Lizenz auf GitHub veröffentlicht. Sie läuft unter Windows, macOS (nur Apple Silicon) und Linux, lädt Modelle im GGUF-Format aus einem mit Hugging Face verbundenen Hub herunter, führt sie mit llama.cpp aus und stellt eine OpenAI-kompatible API auf Port 1337 bereit. Über dieselbe Benutzeroberfläche kann sie sich auch mit Cloud-Modellen (OpenAI, Anthropic, Google, Groq, Mistral, OpenRouter) verbinden, MCP-Server anbinden und Websuchen durchführen. Für den üblichen Gebrauch sind weder ein Konto noch Befehle auf der Kommandozeile erforderlich. Dieser Leitfaden führt Sie durch die Installation von Jan, hilft Ihnen bei der Auswahl eines Modells, das zu Ihrem verfügbaren Speicher passt, und zeigt Ihnen die Grenzen der Stärken von Jan.

#Jan, LM Studio oder Ollama: Was unterscheidet sie?

Die drei Tools nutzen die gleichen GGUF-Modelle; sie unterscheiden sich hinsichtlich ihrer Schnittstelle, ihrer Lizenz und ihres typischen Einsatzes. Die Tabelle bezieht sich nur auf Elemente, die in ihren offiziellen Dokumentationen nachvollziehbar sind.

Die Wahl hängt vom Einsatzzweck ab. Jan eignet sich, wenn Sie eine vollständige Benutzeroberfläche, freien Quellcode und die Möglichkeit möchten, lokale und Cloud-Nutzung zu kombinieren, ohne das Tool zu wechseln. Wenn Sie automatisieren, Skripte schreiben oder auf einem Server bereitstellen, sind Ollama oder llama-server die naheliegenderen Optionen. Der Vergleichsleitfaden erläutert diese Abwägungen.

#Jan unter Windows, macOS oder Linux installieren

Die Installation erfordert kein Konto. Hier sind die offiziellen Voraussetzungen, die Sie vor dem Download prüfen sollten: Sie bestimmen, welches Modell Sie später laden können.

1. 01
   Die Installationsdatei herunterladen

   Besuchen Sie jan.ai oder die GitHub-Seite mit den Releases. Windows: eine .exe-Datei. macOS: eine .dmg-Datei zum Ziehen in den Ordner „Programme“. Linux: vorzugsweise Flatpak, ansonsten .deb oder AppImage.
2. 02
   Jan erstmals starten

   Es muss kein Konto erstellt werden. Beim ersten Start lädt Jan sein Standardmodell herunter; sobald der Download abgeschlossen ist, lässt sich der Chat nutzen. Beim ersten Start können Sie außerdem Ihre Einstellungen zur Erfassung der Nutzung festlegen.
3. 03
   Hub öffnen, um andere Modelle zu sehen

   Der Hub ist über die Seitenleiste erreichbar. Suchen Sie ein Modell, klicken Sie auf Download und wählen Sie es dann in der Modellauswahl eines beliebigen Chats aus.

flatpak install flathub ai.jan.Jan
flatpak run ai.jan.Jan

#Ein Modell wählen, das in Ihren Speicher passt

Der Hub zeigt für jedes Modell einen Eignungsindikator an: Fits, May be slow oder Won't fit. Dieser wird anhand Ihrer Hardware berechnet, ohne etwas herunterzuladen. Die Quantisierungen sind in Small, Balanced und Large gruppiert; der Standarddownload ist mit Recommended gekennzeichnet. Richten Sie sich zuerst nach diesen Indikatoren, bevor Sie andere Kriterien berücksichtigen.

Zur Orientierung finden Sie hier die auf dieser Website angegebenen Größenordnungen bei Q4 (nur Modellgewichte, ohne den zusätzlichen Speicherbedarf für den Kontext) sowie Jans Richtwerte für Macs: Die Tabelle führt beides zusammen.

Das hauseigene Modell Jan-v3-4B, veröffentlicht unter der Apache-2.0-Lizenz, ist ein vernünftiger Ausgangspunkt: 4 Milliarden Parameter, ein natives Kontextfenster von 262.144 Tokens und laut Jan mindestens 8 GB RAM bei Q4-Quantisierung (16 GB bei Q8 empfohlen). Es ist ein leichtgewichtiges Modell: Für Zusammenfassungen oder das Schreiben längerer Texte eignet sich ein Modell mit 7 bis 14 Milliarden Parametern besser, sofern Ihr Arbeitsspeicher ausreicht.

#Erster Chat, Assistenten und Projekte

1. 01
   Einen neuen Chat öffnen

   Wählen Sie das Modell im Auswahlmenü oben im Chat aus. Ein lokales Modell wird bei der ersten Nutzung in den Arbeitsspeicher geladen; rechnen Sie bei einem großen Modell mit einer längeren Ladezeit.
2. 02
   Nachricht schreiben

   Senden Sie Ihre Nachricht; die Antwort erscheint schrittweise. Die Modellparameter (Temperatur, Kontext) finden Sie in der Dokumentation « Model Parameters » von Jan.
3. 03
   Eine Datei hinzufügen

   Über die Plus-Schaltfläche können Sie Dokumente, Bilder (ein Modell mit Bildverarbeitung erforderlich) oder WAV- und MP3-Audiodateien (ein Audiomodell erforderlich) hinzufügen. Bei einem lokalen Modell bleiben die Dateien auf Ihrem Rechner.

Zwei Funktionen verändern die tägliche Nutzung. Assistenten sind wiederverwendbare Anweisungssätze: das Äquivalent eines gespeicherten Systemprompts, den Sie über das Eingabefeld aktivieren. Projekte bündeln Gespräche mit gemeinsamen Anweisungen und Dateien: Ein in einem Projekt abgelegtes Dokument wird in Abschnitte aufgeteilt und indexiert und steht anschließend in allen Gesprächen des Projekts zur Verfügung. Das ist ein schlankes RAG-System, das ausreicht, um einige PDFs abzufragen, ohne eine Pipeline aufzubauen. Lesen Sie den Leitfaden zu Systemprompts, um die Anweisungen eines Assistenten gut zu formulieren.

#Ein Cloud-Modell anbinden (und was das bedeutet)

Jan ermöglicht es, lokale und Cloud-Modelle in derselben Oberfläche zu kombinieren: nützlich, um eine lokale Antwort mit der eines großen Modells zu vergleichen oder nur einen Chat-Client zu verwenden. Öffnen Sie Settings und dann Model Providers, wählen Sie einen Anbieter (OpenAI, Anthropic, Google, Groq, Mistral, OpenRouter, Azure OpenAI, Hugging Face) und fügen Sie Ihren API-Schlüssel ein. Jeder mit OpenAI oder Anthropic kompatible Endpunkt kann ebenfalls als benutzerdefinierter Endpunkt hinzugefügt werden. Anschließend erscheint das Cloud-Modell in der Modellauswahl.

#Jan als lokalen API-Server verwenden

Jan enthält einen OpenAI-kompatiblen Server, der auf llama.cpp basiert. Öffnen Sie Settings, dann Local API Server, und klicken Sie auf Start Server. Der Server ist bereit, sobald die Logs anzeigen, dass er unter http://127.0.0.1:1337 auf Verbindungen wartet. Ihre Skripte, Code-Editoren oder OpenAI-kompatiblen Anwendungen können ihn anschließend nutzen, indem Sie die Basis-URL ändern.

curl http://127.0.0.1:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer secret-key-123" \
  -d '{"model": "YOUR_MODEL_ID", "messages": [{"role": "user", "content": "Bonjour"}]}'

Ersetzen Sie YOUR_MODEL_ID durch die Kennung eines Modells, das in Ihrer Jan-Installation verfügbar ist, und den Schlüssel durch den von Ihnen festgelegten Schlüssel. Beachten Sie die Konfigurationsoptionen sorgfältig, insbesondere diejenigen, die das Netzwerk betreffen.

#Häufige Fehler des lokalen Servers

Connection refused

Der Server wurde nicht gestartet, oder Ihre Anwendung verwendet den falschen Host oder Port.

401 Unauthorized

Der API-Schlüssel fehlt im Authorization-Header oder ist falsch.

404 Not Found

Die Modell-ID entspricht keinem in Jan verfügbaren Modell, oder das API-Präfix ist falsch geschrieben.

CORS-Fehler im Browser

Stellen Sie sicher, dass die CORS-Option in den Servereinstellungen aktiviert ist.

#llama.cpp oder MLX auf dem Mac

Auf Apple Silicon bietet Jan zwei Engines an. llama.cpp ist die stabile Engine, die auf allen Plattformen verfügbar ist und das GGUF-Format nutzt. MLX ist eine Engine für Apple-Chips (mindestens macOS 14), die Metal nutzt, von Jan aber als experimentell eingestuft wird: keine Embeddings, daher kein RAG, keine Unterstützung für die Reasoning-Ausgabe, und einige neuere Architekturen lassen sich nicht laden. Die Dokumentation empfiehlt, mit llama.cpp zu beginnen und MLX mit einem kompatiblen Modell auszuprobieren, wenn Sie mehr Geschwindigkeit wünschen.

#Privatsphäre: Was bei Ihnen bleibt

Jan gibt an, vor Ihrer Zustimmung keine Daten zu erheben: Beim ersten Start wählen Sie Ihre Einstellungen zur Nutzungsmessung und können sie später in den Einstellungen ändern. Wenn Sie zustimmen, erfasst der Anbieter Nutzungskennzahlen, etwa aktive Nutzer, die einer zufälligen Kennung zugeordnet werden, über PostHog, das in der Europäischen Union gehostet wird. Er erklärt, Ihre Gespräche niemals zu lesen und Ihre Prompts niemals zu protokollieren. Ihre Daten (Modelle, Gesprächsverläufe, Einstellungen, Protokolle) werden in einem lokalen Ordner gespeichert: unter macOS in ~/Library/Application Support/Jan/data; unter Linux in ~/.local/share/Jan/data. Diese Beschreibung stammt vom Anbieter: Prüfen Sie für den Einsatz in einem regulierten Umfeld den ausgehenden Netzwerkverkehr Ihres Rechners.

#Ist Jan für Sie geeignet?

Sie wollen freien Code

Das Repository steht unter der Apache-2.0-Lizenz: Sie können den Code lesen, forken und weiterverbreiten, sofern Sie die Lizenz einhalten und den geforderten Urhebervermerk angeben.

Sie kombinieren lokale und cloudbasierte Lösungen

Eine einzige Oberfläche für Ihre lokalen Modelle und Ihre Cloud-Anbieter, mit gemeinsamen Assistenten und Projekten.

Sie vermeiden das Terminal

Installation, Modelldownloads und lokaler Server lassen sich über die Benutzeroberfläche steuern.

Sie automatisieren oder führen ein Deployment auf einem Server durch

Wählen Sie Ollama oder llama-server, die besser für Dienste ohne Benutzeroberfläche geeignet sind.

Sie verwenden einen Intel-Mac

Jan wird nicht unterstützt: Wählen Sie ein anderes Tool.

• Jan: die Open-Source-Alternative zu ChatGPT, 100 % lokal (Tutorial)
• Ollama vs LM Studio vs Jan vs GPT4All
• LM Studio für Anfänger: erster lokaler Chat
• System-Prompts beherrschen
• llama-server: Lokale OpenAI-API mit llama.cpp

• Quelle: offizielle Dokumentation von Jan Desktop
• Quelle: GitHub-Repository von Jan
• Quelle: lokaler API-Server von Jan
• Quelle: Jans Ansatz zum Schutz der Privatsphäre