Einsteiger 4 Min.Ollama

Ollama installieren unter Linux

Linux ist das native Betriebssystem von Ollama: Dort läuft es am besten, lässt sich am saubersten aktualisieren und bietet Ihnen die größte Kontrolle. Dieser Leitfaden behandelt Ubuntu/Debian/Fedora mit systemd, die Konfiguration von NVIDIA- und AMD-GPUs sowie die Frage, wie Sie den Server in Ihrem LAN zugänglich machen, ohne dabei alles durcheinanderzubringen.

Von Mohamed Meguedmi·Aktualisierung 2026-03-25·Getestet auf Ubuntu 24.04

#Warum Linux für die lokale KI?

Drei pragmatische Gründe: Die GPU-Treiber (CUDA, ROCm) sind unter Linux stabiler als unter Windows, CLI-Tools lassen sich problemlos integrieren, und Homelabs laufen standardmäßig unter Linux. Nutzen Sie zusätzlich systemd, damit Ollama beim Systemstart sauber gestartet wird.

i
Getestete Distributionen
Dieser Leitfaden wurde auf Ubuntu 22.04 und 24.04, Debian 12 sowie Fedora 40 validiert. Die Schritte sind bis auf die Unterschiede beim Paketmanager identisch.

#Voraussetzungen

Das Lokale-KI-Paket

Ihr privates, kostenloses ChatGPT auf Ihrem Rechner in einer Stunde – mit LM Studio, Ollama, Open WebUI und Ihren Dokumenten, ganz ohne Cloud.

  • Lebenslanger Online-Zugang
  • PDF + Dateien
  • Erstattung binnen 30 Tagen
Das Lokale-KI-Paket →oder alle Pakete lebenslang — 49 € →
Kernel 5.10+
Jede vernünftige Distribution im Jahr 2026. Mit uname -r überprüfen.
curl ou wget
Um das Installations-Skript herunterzuladen.
sudo / root
Die Installation schreibt Dateien nach /usr/local/bin und erstellt einen systemd-Dienst.
10 GB Festplattenspeicher
Die Modelle befinden sich standardmäßig im Verzeichnis /usr/share/ollama/.ollama/models.

#1. Einzeilige Installation

Terminal
curl -fsSL https://ollama.com/install.sh | sh

Das Skript erkennt Ihre Distribution, installiert die Binärdatei unter /usr/local/bin/ollama, erstellt einen Systembenutzer ollama, richtet eine systemd-Unit ein und startet den Dienst. 30 Sekunden.

!
Curl | sh: Bei Bedarf überprüfen
Ein Skript direkt an sh weiterzuleiten ist bequem, aber schwer zu durchschauen. Laden Sie es im beruflichen Umfeld zuerst herunter (curl -o install.sh https://ollama.com/install.sh), prüfen Sie es und führen Sie es erst danach aus.
Prüfung
ollama --version
systemctl status ollama

#2. systemd-Dienst

Der Dienst wird unter /etc/systemd/system/ollama.service angelegt. So passen Sie ihn an (z. B. das Modellverzeichnis ändern oder den Dienst im LAN zugänglich machen):

Terminal
sudo systemctl edit ollama

Fügen Sie die nützlichen Umgebungsvariablen im Abschnitt [Service] hinzu:

systemd-Override
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/mnt/ssd/ollama-models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Anwenden
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo journalctl -u ollama -f  # logs live

#3. NVIDIA-GPU

Ollama erkennt CUDA automatisch, wenn die Treiber installiert sind. Prüfung:

Terminal
nvidia-smi
# Si la commande n'existe pas :
sudo apt install nvidia-driver-550  # Ubuntu
sudo dnf install akmod-nvidia       # Fedora
→
Container Toolkit (optional)
Wenn Sie Ollama in Docker betreiben, installieren Sie nvidia-container-toolkit, damit die GPU im Container verfügbar ist. Andernfalls hat Docker keinen Zugriff darauf.
Mit einem Modell testen
ollama run mistral "Bonjour"
# Dans un autre terminal :
ollama ps  # colonne PROCESSOR doit dire 100% GPU

#4. AMD-GPU (ROCm)

Radeon RX 6000, 7000 und Instinct werden über ROCm unterstützt. Die Installation ist anspruchsvoller als CUDA, aber sie funktioniert.

Ubuntu 22.04/24.04
wget https://repo.radeon.com/amdgpu-install/6.0/ubuntu/jammy/amdgpu-install_6.0.60000-1_all.deb
sudo apt install ./amdgpu-install_6.0.60000-1_all.deb
sudo amdgpu-install --usecase=rocm
sudo usermod -aG render,video $USER
# reboot
!
Nicht offiziell unterstützte Karten
Wenn Ihre GPU nicht in der offiziellen AMD-Liste steht (z. B. RX 6600, 6700), verwenden Sie HSA_OVERRIDE_GFX_VERSION=10.3.0 als Umgebungsvariable. Damit wird ROCm gezwungen, die Karte als gfx1030 zu behandeln.

#5. Im lokalen Netzwerk verfügbar machen

Standardmäßig hört Ollama nur auf localhost:11434. Damit ein anderer Rechner oder ein Raspberry Pi darauf zugreifen kann:

Im systemd-Override
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=http://192.168.1.*"
Firewall
sudo ufw allow from 192.168.1.0/24 to any port 11434
!
Niemals über das Internet zugänglich machen
Ollama verfügt über keine native Authentifizierung. Wenn Sie es außerhalb des LAN verfügbar machen möchten, schalten Sie einen Reverse-Proxy (Caddy, nginx) mit Basic-Auth oder JWT davor.

#Fehlerbehebung

systemctl status ollama → failed
Die Ausgabe von journalctl -u ollama -n 50 prüfen. Häufige Ursachen: Port 11434 ist bereits belegt oder es gibt Probleme mit den Berechtigungen für den Ordner models.
GPU nicht erkannt
nvidia-smi und rocminfo müssen antworten. Andernfalls: Treiber. Ein Neustart nach der Installation ist oft notwendig.
Modell läuft langsam, 100 % CPU
ollama ps ne montre pas GPU. Drivers ok, mais variable CUDA_VISIBLE_DEVICES mal réglée ? Vérifiez environnement du service.
Nicht genügend Speicherplatz
Verschieben Sie OLLAMA_MODELS auf eine größere SSD. Nicht vergessen, chown -R ollama:ollama auf den neuen Ordner anzuwenden.
Hat Ihnen dieser Guide geholfen?

Haben Sie Feedback, einen Fehler entdeckt oder möchten Sie etwas präzisieren? Geben Sie uns Bescheid – so wird der Guide für alle besser.