Den eigenen Rechner per Air Gap isolieren Inferez

#Wann ein Air-Gap gerechtfertigt ist und wann er zu teuer ist

Die Entscheidung für einen Air-Gap beruht auf einer Risikoanalyse, nicht auf einem Prinzip. Gerechtfertigt ist er in folgenden Fällen: bei klassifizierten Daten oder Daten, die einem besonders streng geschützten Betriebsgeheimnis unterliegen, bei vertraglichen oder branchenspezifischen Anforderungen, die ausdrücklich ein isoliertes Netzwerk vorschreiben, in Umgebungen, die bereits isoliert sind und in die sich das LLM integrieren muss, sowie bei Arbeitsrechnern, die ausschließlich für besonders sensible Fälle oder Unterlagen vorgesehen sind (etwa bei einem Anwalt oder Forscher). Für gewöhnliche personenbezogene Daten, einschließlich Gesundheits- oder Finanzdaten, verlangen die Vorschriften risikogerechte Maßnahmen statt einer vollständigen Isolation: Ein lokales LLM auf einem verschlüsselten Rechner ohne Cloud-Konto deckt bereits die meisten Bedürfnisse ab. Der Leitfaden zu lokaler KI im Unternehmen und die Datenschutz-Checkliste behandeln diese Zwischenstufe.

Stellen Sie sich vor dem Start drei Fragen. Wer übernimmt die Übertragungen, und wie häufig? Welche Komponenten müssen für den Stack aktualisiert werden (Ollama, llama.cpp, die Benutzeroberfläche, die Modelle)? Und was passiert an dem Tag, an dem ein neueres Modell unverzichtbar wird: Der Prozess muss ohne Ausnahmen praktikabel bleiben, denn eine einmal gemachte Ausnahme wird zur Regel. Wenn Sie diese drei Fragen nicht beantworten können, beginnen Sie mit einem Offline-Rechner pro Anwendungsfall und einer streng konfigurierten Firewall. Gehen Sie erst dann eine Stufe weiter, wenn das Risiko es rechtfertigt.

#Air-Gap, Quasi-Air-Gap und Firewall: nicht verwechseln

Dieser Leitfaden behandelt alle drei: Die Firewall ist die minimale Schutzschicht, die jeder Rechner mit sensiblen Daten haben sollte, und der physische Air-Gap die höchste Schutzschicht. Auf einem Mac werden die macOS-spezifischen Einstellungen im Leitfaden zur Optimierung von Macs mit Apple-Chips behandelt; unter Windows gelten dieselben Prinzipien, doch die Kontrolle über Komponenten, die Verbindungen nach außen herstellen, ist weniger fein als unter einem minimalen Linux-System. Deshalb wird hier Linux bevorzugt.

#Die Maschine vorbereiten

Minimaler Systemaufbau

Debian oder Ubuntu Server ohne grafische Oberfläche für einen Inferenzserver. Kein Browser, kein mit einem App-Store verbundener Paketmanager.

Automatische Aktualisierungsdienste

Deaktivieren Sie die Update-Timer, beispielsweise mit sudo systemctl disable --now apt-daily.timer apt-daily-upgrade.timer, damit keine Verbindungsversuche unbemerkt gestartet werden.

Konten

Ein separater Account für die Nutzung des LLM, sudo beschränkt auf den Administrator.

Funkmodule und Schnittstellen

WLAN und Bluetooth im BIOS oder in der Firmware deaktiviert, besser noch: physisch nicht vorhanden. Kein Netzwerkkabel angeschlossen.

Kein Dual-Boot

Eine zusätzliche Partition mit Netzwerkzugang schafft indirekte Zugangswege (Auslagerungsdatei, gemeinsam genutzte Dateien).

Uhrzeit

Stellen Sie die Uhrzeit manuell oder über eine interne Quelle ein: Eine Synchronisierung mit einem öffentlichen Zeitserver ist ausgehender Netzwerkverkehr.

Verschlüsselter Datenträger

Auch ein isolierter Rechner kann gestohlen oder beschlagnahmt werden: Verschlüsseln Sie das Laufwerk (siehe den entsprechenden Leitfaden).

#Programme im LLM-Stack, die standardmäßig Verbindungen nach außen herstellen

Bei einem physisch isolierten Rechner schlagen diese Aufrufe ohne Schaden fehl; bei einem Rechner, der nur durch eine Firewall geschützt ist oder dessen Verbindung noch getrennt werden soll, stellen sie das eigentliche Risiko dar. Ein typischer lokaler Stack enthält mehrere Komponenten, die das Internet kontaktieren, wenn man sie nicht daran hindert. Im Folgenden stehen diejenigen, die sich laut offizieller Dokumentation abschalten lassen.

Die Dokumentation von Ollama stellt klar, dass der Anbieter bei der lokalen Nutzung von Ollama weder die Anfragen noch die Daten sieht; durch das Deaktivieren der Cloud-Funktionen verlieren Sie den Zugriff auf gehostete Modelle und die Websuche, was genau das Ziel ist. Achtung bei Open WebUI: Die Dokumentation warnt, dass RAG, Websuche und Dokumentanalyse möglicherweise nicht funktionieren, wenn Sie vor dem Aktivieren von OFFLINE_MODE kein Embedding-Modell heruntergeladen haben. Laden Sie alles herunter, was der Rechner benötigen wird, bevor Sie ihn vom Netzwerk trennen.

#Strenge Firewall: eingehenden und ausgehenden Verkehr standardmäßig blockieren

Die Firewall ist die zweite Schutzlinie nach der physischen Trennung und die einzige Schutzmaßnahme auf einem Gerät im internen Netz. Das Prinzip ist die standardmäßige Ablehnung in beide Richtungen, mit wenigen ausdrücklich erlaubten Verbindungen zum isolierten internen Netz. Legen Sie die Erlaubnisregeln fest, bevor Sie die Firewall aktivieren; andernfalls sperren Sie sich selbst aus der SSH-Sitzung aus.

sudo ufw default deny incoming
sudo ufw default deny outgoing

# Réseau interne isolé (exemple), y compris l'administration SSH depuis un poste connu
sudo ufw allow in from 192.168.50.0/24 to any port 22 proto tcp
sudo ufw allow out to 192.168.50.0/24

sudo ufw enable
sudo ufw status verbose

Der Datenverkehr über die lokale Schnittstelle (Loopback) ist für den Betrieb von Ollama und Open WebUI erforderlich, die über 127.0.0.1 miteinander kommunizieren. Prüfen Sie mit ufw status verbose, dass Ihre Konfiguration diesen Datenverkehr nicht blockiert. Wenn sich der Rechner in einem internen LAN befindet, ergänzen Sie den Schutz auf Router-Ebene: ein VLAN ohne Route ins Internet.

#Prüfen, auf welchen Adressen und Ports Ollama lauscht

sudo ss -tlnp | grep ollama
# attendu : 127.0.0.1:11434 et non 0.0.0.0:11434
# si 0.0.0.0 : régler OLLAMA_HOST=127.0.0.1:11434

#Modelle und Updates per USB-Stick übertragen

Ein isolierter Rechner erhält Modelle (von einigen GB bis zu mehreren Dutzend GB), Updates (Ollama, llama.cpp, Open WebUI) und manchmal Dokumente. Der kritische Punkt ist der USB-Stick: Er ist die einzige Zugangsmöglichkeit und damit der einzige Weg, über den Schadsoftware eingeschleust werden kann. Verwenden Sie immer denselben, ausschließlich dafür vorgesehenen USB-Stick, formatieren Sie ihn regelmäßig und verwenden Sie niemals einen Stick, der bereits anderweitig genutzt wurde.

1. 01
   Auf einem Rechner mit Internetverbindung herunterladen

   Laden Sie die GGUF-Datei des Modells von Hugging Face oder das Update-Binary von der offiziellen Website herunter. Notieren Sie die von der Quelle angezeigte SHA-256-Prüfsumme, wenn vorhanden.
2. 02
   Prüfsumme berechnen und Datei scannen

   Führen Sie sha256sum für die Datei aus und prüfen Sie sie anschließend mit einem Antivirenprogramm (zum Beispiel ClamAV) auf diesem Transitrechner, der nicht der isolierte Rechner ist.
3. 03
   Auf den USB-Stick kopieren

   Kopieren Sie die Datei und eine Textdatei, die den Fingerabdruck dieser Datei enthält.
4. 04
   Vor der Verwendung auf der isolierten Maschine prüfen

   Berechnen Sie auf dem isolierten Rechner den Hash erneut: Er muss identisch sein. Eine Abweichung bedeutet, dass die Datei verändert oder beschädigt ist: Verwenden Sie sie nicht.
5. 05
   In Ollama importieren

   Erstellen Sie eine Modelfile-Datei mit FROM /chemin/vers/modele.gguf und führen Sie anschließend ollama create nom-du-modele -f Modelfile aus. Ollama quantisiert eine GGUF-Datei beim Import nicht: Die Datei muss bereits die gewünschte Quantisierung aufweisen.

# machine de transit
sha256sum modele-q4_k_m.gguf > modele.sha256

# machine isolée
sha256sum -c modele.sha256
printf 'FROM ./modele-q4_k_m.gguf\n' > Modelfile
ollama create mon-modele -f Modelfile
ollama run mon-modele

Die alternative Methode besteht darin, den gesamten Modellordner einer verbundenen Maschine (blobs und Manifeste) auf die isolierte Maschine zu kopieren. Sie funktioniert, aber der Ordner liegt je nach Installation an einem anderen Ort: Die FAQ von Ollama gibt unter macOS den Pfad ~/.ollama/models an, unter Linux mit dem Standardinstallationsprogramm /usr/share/ollama/.ollama/models und unter Windows C:\Users\%username%\.ollama\models an. Der Weg über einen isolierten GGUF-Datei ist einfacher zu überprüfen, da nur eine Hash-Unterschrift verglichen werden muss. Der Leitfaden zum Import von GGUF erklärt das Modelfile.

#Den USB-Port absichern

Ein USB-Stick kann sich als Tastatur oder ein anderes Peripheriegerät ausgeben. Unter Linux lässt sich USBGuard in einem Satz als Werkzeug für eine Positivliste von USB-Geräten beschreiben: Es legt fest, welche Gerätetypen zugelassen sind und wie sie mit dem System interagieren dürfen. Deaktivieren Sie auch das automatische Einbinden von Datenträgern, damit beim Anschließen nichts ausgeführt wird. In besonders sensiblen Umgebungen ersetzt eine Datendiode (ein Gerät, das Daten nur in eine Richtung durchlässt) den USB-Stick, erfordert aber eine aufwendigere Einrichtung.

#Die Abschottung testen

Ein Test weist die Abschottung nur für den Zeitraum nach, den er beobachtet hat: Wiederholen Sie ihn nach jedem Update und lassen Sie die Aufzeichnung während einer vollständigen Arbeitssitzung laufen. Das Minimalprotokoll umfasst den Betrieb, das Fehlen einer Route, das Ausbleiben der Namensauflösung und den tatsächlichen Datenverkehr.

Offline-Betrieb

Ziehen Sie das Kabel ab und deaktivieren Sie alle Funkverbindungen. Führen Sie anschließend den vollständigen Ablauf aus (Modell, RAG, Benutzeroberfläche). Alles muss funktionieren: Andernfalls war eine Komponente vom Internet abhängig.

Keine Route vorhanden

ping -c 1 8.8.8.8 muss fehlschlagen („Network is unreachable“ oder eine entsprechende Meldung).

Kein DNS

host exemple.org muss fehlschlagen; prüfen Sie /etc/resolv.conf: kein externer Server.

Bestehende Verbindungen

sudo ss -tunp state established : aucune connexion vers une adresse hors du réseau interne.

Realer Traffic

Eine mit tcpdump auf allen Interfaces durchgeführte Aufzeichnung, die das interne Netzwerk ausnimmt, muss während der gesamten Nutzung leer bleiben.

# rien ne doit apparaître (hors loopback et réseau interne)
sudo tcpdump -i any -n 'not (host 127.0.0.1 or host ::1) and not (net 192.168.50.0/24)'

#Regelmäßige Prüfung

#Häufige Fragen zum Air-Gap einer LLM-Maschine

• Den Datenträger mit den Modellen verschlüsseln
• Datenschutz-Checkliste
• Lokale KI im Unternehmen: DSGVO, Souveränität und Deployment
• GGUF-Modell von Hugging Face in Ollama importieren
• Das Beste aus einem Mac mit Apple Silicon herausholen

• Quelle: Ollama-FAQ, Cloud deaktivierbar und Speicherorte
• Quelle: Ollama, Import eines GGUF-Modells
• Quelle: Open WebUI, Umgebungsvariablen
• Quelle: USBGuard