Ollama auf einem Synology-NAS: ein LLM auf dem Server familial

#Welche Synology-NAS-Modelle sind mit Ollama kompatibel

Der Arbeitsspeicher ist das Erste, was Sie vor einem Kauf oder einem Installationsversuch prüfen sollten. Ollama veröffentlicht Linux-Versionen sowohl für x86-64 als auch für ARM64: Der ARM-Prozessor ist also nicht das eigentliche Hindernis. Synology-NAS-Einstiegsmodelle mit einem ARM-Prozessor von Realtek verfügen laut den technischen Daten von Synology dagegen nur über 1 GB (DS124, DS223j) oder 2 GB (DS223) Arbeitsspeicher, während ein in Q4 quantisiertes 7B-Modell allein etwa 5 GB groß ist. Die x86-Modelle (Intel Celeron oder AMD Ryzen, in der Regel die „Plus“-Serien) sind die realistische Wahl, da sich ihr Arbeitsspeicher erweitern lässt.

In der Praxis eignen sich die Serien „Plus“ und höher, die mit einem Intel Celeron oder einem AMD Ryzen ausgestattet sind. Bevor Sie etwas installieren, prüfen Sie die genauen technischen Daten Ihres Modells: Der Name der Serie (Plus) ist ein Hinweis, allein aber keine Garantie.

#Wie viel RAM sollte für einen realistischen Einsatz bereitgestellt werden?

Der RAM-Bedarf hängt vom geladenen Modell, der Quantisierung, der Kontextlänge und der Anzahl gleichzeitiger Benutzer ab; außerdem muss genügend Spielraum für DSM und die anderen parallel laufenden Pakete bleiben. Ein 7B-Modell in Q4 belegt etwa 5 GB für seine Gewichte, hinzu kommen der Kontext und die Prozesse: Rechnen Sie mit 6 bis 8 GB freiem RAM. Auf einem NAS mit insgesamt 8 GB bleibt nach Berücksichtigung von DSM und Container Manager nur sehr wenig Spielraum; 16 GB ermöglichen einen komfortablen Betrieb.

Die DS225+ und DS425+ werden ab Werk mit nur 2 GB RAM geliefert: Das ist für ein nutzbares LLM bei Weitem zu wenig, selbst für ein kleines Modell. Bei diesen Geräten ist eine Speicheraufrüstung vor jeder Installation von Ollama unerlässlich.

#Welche Synology-Modelle zuerst in Betracht ziehen?

Die Modelle mit einem Ryzen-Prozessor (DS725+, DS925+, DS1525+, DS1825+) bieten auf bis zu 32 GB erweiterbaren Arbeitsspeicher und eine CPU, die sich besser für Berechnungen eignet als die Celeron-Prozessoren der Reihen DS225+/DS425+. Für einen ernsthaften LLM-Einsatz sollten Sie diese Reihen ins Auge fassen und den Arbeitsspeicher auf die maximal unterstützte Kapazität aufrüsten, statt bei der ursprünglichen Ausstattung zu bleiben.

#Ollama über Container Manager installieren

Synology bietet Ollama nicht als offizielles Paket im Paket-Zentrum an: Sie müssen Container Manager verwenden, der seit DSM 7.2 das alte Docker-Paket ersetzt (unter DSM 7.0 und 7.1 ist weiterhin das alte Docker-Paket verfügbar).

1. 01
   Die DSM-Version prüfen

   Container Manager erfordert DSM 7.2 oder höher. Bei einer früheren Version muss das alte Docker-Paket verwendet werden, mit einer anderen Benutzeroberfläche.
2. 02
   Container Manager öffnen und nach dem offiziellen Image suchen

   Aus dem Hauptmenü von DSM den Container Manager öffnen, zu Registrierung wechseln, ollama/ollama suchen, das offizielle Image auswählen und auf Herunterladen klicken.
3. 03
   Port konfigurieren und Container starten

   Den Containerport (bei Ollama standardmäßig 11434) auf einen Port in einem hohen Portbereich des Hosts abbilden, etwa im für diesen Diensttyp empfohlenen Bereich 8000–9000, statt die Standardports von DSM zu ändern.
4. 04
   Ein erstes Modell herunterladen, das zum verfügbaren RAM passt

   Nach dem Start des Containers eine Verbindung über die Kommandozeile oder die Benutzeroberfläche herstellen und ein Modell herunterladen, dessen Größe zum tatsächlich verfügbaren freien Arbeitsspeicher des NAS passt, nicht zum insgesamt installierten Arbeitsspeicher.

• Zur Erinnerung: Ollama mit Docker installieren
• Quelle: detaillierte Schritte im Container Manager

#Eine Benutzeroberfläche hinzufügen: Open WebUI mit Docker Compose

Ollama allein bietet nur eine API und eine Kommandozeile, keine Chatoberfläche: Für eine Nutzung ähnlich wie bei ChatGPT braucht es eine zweite Software, die an Ollama angebunden ist. Die empfohlene Methode besteht darin, Ollama und Open WebUI als zwei separate Docker-Container auf demselben NAS bereitzustellen und anschließend ein Modell herunterzuladen, das zum tatsächlich verfügbaren RAM passt, statt das leistungsfähigste Modell aus dem Internet zu wählen — für die Modellwahl gelten weiterhin dieselben oben beschriebenen Speicherbeschränkungen wie für Ollama allein. Seit DSM 7.2 bietet Container Manager die Registerkarte „Projet“, über die sich eine docker-compose.yml-Datei direkt ausführen lässt, ohne SSH zu verwenden oder einen Befehl in ein Terminal einzugeben. Dadurch ähnelt die Nutzung auf einem Synology-NAS stärker der auf einem klassischen Linux-Server, während die Steuerung weiterhin über die grafische DSM-Oberfläche erfolgt.

1. 01
   Projektverzeichnis erstellen

   In File Station einen eigenen Ordner erstellen, beispielsweise /volume1/docker/openwebui, in dem die Datei docker-compose.yml des Projekts abgelegt wird; diesen Ordner von dem für die alleinige Installation von Ollama verwendeten Ordner getrennt halten, damit die Konfigurationen der beiden Container nicht vermischt werden.
2. 02
   Die Datei docker-compose.yml erstellen

   Zwei Dienste deklarieren: ollama (die bereits im vorherigen Schritt installierte oder hier erneut integrierte API) und open-webui, das über die interne URL von Ollama mit diesem verbunden ist, wobei Port 3000 auf dem Host für die Weboberfläche freigegeben wird.
3. 03
   Das Projekt über Container Manager starten

   Ein neues Projekt im Container Manager erstellen, diesen Ordner als Projektordner auswählen und anschließend bereitstellen: Der zugrunde liegende Befehl entspricht docker compose up -d und startet beide Container gemeinsam in der durch ihre Abhängigkeiten vorgegebenen Reihenfolge.
4. 04
   Die Benutzeroberfläche öffnen und das Administratorkonto erstellen

   Sobald die Container gestartet sind, die IP-Adresse des NAS mit dem angehängten Port 3000 in einem Browser im lokalen Netzwerk öffnen, beim ersten Zugriff das Administratorkonto erstellen und anschließend direkt in der Benutzeroberfläche ein Modell von Ollama herunterladen.

• Vollständiger Leitfaden zu Open WebUI mit Ollama
• Quelle: Open WebUI auf einem NAS mit Docker Compose

#Realistische Erwartungen bei reinem CPU-Betrieb

Auf einem Synology-NAS läuft Ollama ausschließlich auf der CPU: Diese Geräte verfügen über keine dedizierte GPU, die sich dafür nutzen ließe. Der tatsächliche Durchsatz muss mit dem vorgesehenen Modell und unter der vorgesehenen Last gemessen werden, da er je nach Kontextlänge, Ollama-Version und gleichzeitiger Aktivität auf dem NAS (Sicherungen, Indexierung, andere Pakete) variiert. Als grob beobachtete Größenordnung für längere Textgenerierung gelten etwa 5 Tokens pro Sekunde – für eine asynchrone Nutzung (Zusammenfassungen, Verarbeitung im Hintergrund) mehr als ausreichend, für anspruchsvolle Gespräche in Echtzeit dagegen eher knapp.

#Netzwerksicherheit: Ollama nicht im Internet exponieren

Ein NAS enthält in der Regel sämtliche persönlichen oder beruflichen Dateien eines Haushalts oder einer kleinen Organisation: Es ist ein Gerät, das vorrangig geschützt werden sollte, statt es aus Bequemlichkeit öffentlich zugänglich zu machen. Wer einen DSM-Port oder einen Container-Port direkt ins Internet weiterleitet, setzt ein Gerät mit all seinen Dateien unmittelbar automatisierten Scans aus. Synology-NAS-Geräte wurden aus genau diesem Grund bereits zum Ziel von Ransomware-Kampagnen.

#Im Vergleich zu einem Docker-Deployment für den Produktivbetrieb

Dieser Leitfaden beschreibt eine einfache Installation mit einem einzigen Container auf einem NAS für zu Hause oder für eine kleine Organisation. Für einen Produktionsstack mit HTTPS-Reverse-Proxy, eigener Weboberfläche, vektorbasiertem RAG und Monitoring ist das Vorgehen anders und der Betrieb aufwendiger: Dies behandelt der Docker-Compose-Leitfaden für den Produktionsbetrieb auf dieser Website, der eher für einen dedizierten Linux-Server als für ein NAS gedacht ist.

• Produktionsbereitstellung von LLM mit Docker Compose
• Alternative: Ollama auf Proxmox (LXC/VM)
• Quelle: CPU- und RAM-Kompatibilität pro Modell
• Quelle: Container Manager und Netzwerksicherheit

#Für wen dieser Aufbau sinnvoll ist

Ollama auf einem Synology-NAS eignet sich für alle, die bereits ein x86-NAS zur Datenspeicherung betreiben und es zusätzlich für leichte, asynchrone KI-Aufgaben nutzen möchten, die im gesamten lokalen Netzwerk zugänglich sind: Dokumente zusammenfassen, die in einem freigegebenen Ordner abgelegt wurden, Informationen aus archivierten E-Mails extrahieren oder als Baustein für die Hausautomatisierung dienen. Es ist nicht die richtige Wahl, wenn das Ziel flüssige und schnelle Gespräche im Alltag sind oder wenn das NAS bereits als primäres Sicherungssystem dient und nicht genügend freien Arbeitsspeicher für ein LLM hat, ohne eine Verlangsamung seiner üblichen Aufgaben zu riskieren.

Sie besitzen bereits ein x86-NAS der Plus-Serie mit freiem Arbeitsspeicher

Das ist das wirtschaftlichste Szenario: Sie müssen keine zusätzliche Hardware kaufen, sondern gegebenenfalls nur den Arbeitsspeicher aufrüsten und einen Container konfigurieren.

Sie suchen ein Gespräch mit sofortigen Antworten wie bei ChatGPT

Allein mit seiner CPU bleibt ein NAS langsam im Vergleich zu einer dedizierten GPU oder einem modernen Chip mit gemeinsamem Arbeitsspeicher; bevorzugen Sie für diesen Zweck daher einen Mini-PC oder einen Rechner mit GPU.

Das NAS speichert bereits kritische Backups

Prüfen Sie den verfügbaren RAM und die CPU-Belastung vor dem Hinzufügen von Ollama: Ein schlecht dimensionierter Dienst kann die bestehenden Sicherungsaufgaben verlangsamen.