Welches LLM auf der GTX 1080 Ti (11 GB) ?

#Die GTX 1080 Ti im Jahr 2026: Was sie hat, was sie nicht hat

Die GTX 1080 Ti ist eine Pascal-Karte (Chip GP102) mit 3 584 CUDA-Kernen, 11 GB GDDR5X und 484 GB/s Bandbreite sowie einer Leistungsaufnahme von 250 W. Im öffentlichen llama.cpp-Benchmark erzielt sie mit einem Llama 2 7B in Q4_0 bei der Generierung 62,49 Tokens/s und bei der Verarbeitung des Prompts 1 084,41 Tokens/s. Diese Ergebnisse bringen sie bei der Generierung auf das Niveau einer RTX 2060 Super, wobei sie 3 GB mehr Speicher bietet: Diese Kapazität ist es, die mehr als die Geschwindigkeit weiterhin das Interesse an der Karte rechtfertigt.

Die Tabelle enthält bereits die wichtigste Information: Die FP16-Rechenleistung beträgt auf dieser Karte etwa 1/64 der FP32-Rechenleistung. Der folgende Absatz erklärt, warum sich das weniger nachteilig auswirkt, als man denkt.

#Die Grenzen von Pascal: Was zählt und was nicht

Drei Einschränkungen bestehen tatsächlich. Die erste ist das Fehlen von Tensor Cores, den mit Volta und Turing eingeführten Recheneinheiten für Matrixoperationen: Sie beschleunigen das Einlesen des Prompts und das Training, nicht die Generierung, die von der Speicherleistung abhängt. Die zweite ist der lächerlich niedrige FP16-Durchsatz bei Pascal-GPUs für den Endverbrauchermarkt (etwa 166 GFLOPS gegenüber 10.609 bei FP32): Inferenz-Engines wie llama.cpp umgehen das Problem, indem sie quantisierte Modelle mit Ganzzahlarithmetik berechnen. Die dritte ist das Ende der Softwareunterstützung, auf das weiter unten eingegangen wird.

Zwei oft wiederholte Aussagen sind falsch. FP16 ist nicht einfach doppelt so langsam, sondern sechzigmal langsamer. Und Flash Attention ist nicht auf Tensor Cores beschränkt: Im llama.cpp-Benchmark läuft die 1080 Ti mit aktivierter Flash Attention mit 1 138,14 Tokens/s bei der Prompt-Verarbeitung und 61,38 Tokens/s bei der Generierung, gegenüber 1 084,41 und 62,49 ohne Flash Attention. Der Durchsatzgewinn ist gering, aber die Funktion ist verfügbar und reduziert den Speicherbedarf des Kontexts.

#Was 11 GB ermöglichen: die Entscheidungstabelle

Die Richtwerte der Website veranschlagen für ein 8B-Modell in Q4 etwa 5 GB und für ein 14B-Modell etwa 9 GB, jeweils ohne KV-Cache. Bei 11 GB lässt ein 12B-Modell 4 GB Reserve, ein 14B-Modell nur 2 GB. Die Tabelle überträgt die auf dem Teststand beobachtete Effizienz (49 % der theoretischen Obergrenze von 484 GB/s, also 62,49 Tokens/s bei 3,82 GB Modellgewichten) auf gängige Modelle: Es handelt sich um Hochrechnungen, nicht um Messungen.

Am interessantesten ist die 12B-Klasse: Das ist das größte Modell, das noch komfortabel läuft, mit einem Kontext von mehreren Tausend Tokens. Auf einer Grafikkarte mit 8 GB lässt dasselbe Modell kaum 1 GB frei und zwingt dazu, den Kontext drastisch zu verkleinern. Darüber hinaus passt ein 14B-Modell in Q4 noch hinein, aber ohne Spielraum, und ein Modell mit 30 Milliarden Parametern passt nicht hinein.

#Was die öffentlichen Benchmarks sagen

QuelLLM testet diese Karte nicht. Der Benchmark in der Diskussion „Performance of llama.cpp on Nvidia CUDA“ vergleicht alle Karten mit demselben Modell. So lässt sich die 1080 Ti im Vergleich zu benachbarten Karten einordnen.

Drei Lesegeschwindigkeiten werden ermittelt. Bei der Generierung entspricht die 1080 Ti der RTX 2060 Super und liegt 17 % hinter einer RTX 3060 mit 12 GB. Bei der Prompt-Lesung wird der Unterschied größer: Die RTX 3060 kommt fast doppelt so schnell voran, die RTX 2080 Ti mit gleicher Kapazität übertrifft sie sogar um 2,7-mal. Schließlich erreicht die Tesla P40, eine Pascal-Karte mit 24 GB, 54,74 Tokens/s: Sie zeigt, dass eine Kapazität von 24 GB auf dieser Architektur erreichbar ist, mit einem Durchsatz unter dem der 1080 Ti.

#Die 11 GB nutzen: weniger stark quantisieren

Ein besonderer Vorteil der 11 GB ist, dass sich die Qualität statt der Modellgröße steigern lässt. Der QuelLLM-Katalog nennt für Granite 4.2 8B folgende Größen: 4,6 GB in Q4, 6 GB in Q5 und 9 GB in Q8. Bei 8 GB lässt nur Q4 noch Speicherreserven. Bei 11 GB bleibt mit Q5 (6 GB) reichlich Spielraum, und Q8 (9 GB) passt mit einem kurzen Kontext.

Der Kompromiss ist klar: Jede Quantisierungsstufe verringert die Fehler des Modells, verlangsamt aber die Generierung, weil für jedes Token mehr Gewichte erneut gelesen werden. Für gewöhnliche Chats ist Q5 ein guter Mittelweg; Q8 lohnt sich für höhere Genauigkeit (Extraktion, Code), wenn der Durchsatz wenig wichtig ist. Der Quantisierungsleitfaden erläutert den Qualitätsunterschied im Detail.

• Quantisierung wählen (Q4, Q5, Q8, FP16)

#Zwei Karten für 22 GB: möglich, muss aber geprüft werden

Die llama.cpp-Benchmarksuite weist in ihren Anweisungen darauf hin, dass Mitwirkende mit mehreren GPUs mit -sm none -mg die Nutzung einer einzigen GPU erzwingen müssen, sofern das Modell nicht zu groß für den VRAM ist: Die Engine verteilt ein Modell also tatsächlich auf mehrere Karten. Zwei GTX 1080 Ti würden 22 GB für die Modellgewichte bieten, genug für ein Modell mit 32 Milliarden Parametern in Q4 (19 bis 20 GB laut dem Richtwert dieser Website), ohne Spielraum für den Kontext.

Durch die Aufteilung addieren sich die Geschwindigkeiten nicht: Die Schichten werden auf die Karten verteilt und über den PCIe-Bus übertragen, was den Zugewinn begrenzt. Dieser Aufbau erfordert außerdem ein geeignetes Gehäuse, ein geeignetes Netzteil und ein geeignetes Mainboard und verdoppelt die Betroffenheit vom Ende des Pascal-Supports. Für ein Projekt, das 24 GB benötigt, vergleichen Sie zunächst die Kosten einer einzelnen neueren Karte.

#In vier Schritten installieren und überprüfen

1. 01
   Den Treiber prüfen

   Starten Sie nvidia-smi. Für Karten mit Compute Capability 5.0 bis 6.2, wie die GTX 1080 Ti, erfordert die Dokumentation von Ollama einen Treiber der Version 570 oder neuer.
2. 02
   Ollama installieren

   Folgen Sie der Installationsanleitung für Ihr System. Ollama führt die Karte in seiner offiziellen Liste als GTX 1080 Ti (Compute Capability 6.1) auf.
3. 03
   Ein passendes Modell auswählen

   Beginnen Sie mit einem 8B-Modell in Q4, um das Zusammenspiel der Komponenten zu prüfen, und testen Sie anschließend ein 12B-Modell mit einem Kontext von 4.096 Tokens.
4. 04
   Platzierung prüfen

   Führen Sie ollama ps aus: Die Spalte PROCESSOR muss 100 % GPU anzeigen. Andernfalls verkleinern Sie das Kontextfenster oder wählen Sie ein kleineres Modell.

Wenn das Laden fehlschlägt, suchen Sie nicht nach einer exotischen Variable zur Umgehung des Problems: Ollama aktiviert Flash Attention automatisch, wenn die Engine und die Grafikkarte dies unterstützen, und die dokumentierte Variable lautet OLLAMA_FLASH_ATTENTION (1 zum Erzwingen, 0 zum Deaktivieren). Der Leitfaden zur Fehlerbehebung erläutert die häufigsten Fehler.

• Schritt-für-Schritt-Installation von Ollama
• Ollama-Probleme beheben: GPU nicht erkannt, langsame Ausführung

#Ende des Lebenszyklus von Pascal: Was man planen muss

Die Versionsnotizen von CUDA 13 zeigen, dass Maxwell, Pascal und Volta nicht mehr unterstützt werden. Wikipedia berichtet, dass NVIDIA im Dezember 2025 den Game Ready-Support für diese Architekturen beendet hat und Sicherheitsupdates bis Oktober 2028 bereitstellt. Heute funktioniert die GTX 1080 Ti mit Ollama und einem Treiber 570 oder neuer: Es besteht die Gefahr, dass zukünftige Inferenzmotoren ausschließlich CUDA 13 unterstützen. Notieren Sie Ihre Treiber- und Ollama-Versionen vor jeder Aktualisierung.

#Fazit: behalten, ja; kaufen, unter bestimmten Bedingungen

Um die aktuellen Optionen zu vergleichen, ohne Preise aufzulisten, die sich jede Woche ändern, nennen die Seiten dieser Website die für die jeweilige Speicherkapazität geeigneten Modelle und verweisen auf die Seite mit den Grafikkartenpreisen.

• Welches LLM für RTX 3060 12 GB
• Welches LLM auf einer RTX 2080 Ti (11 GB)?
• Welche Modelle eignen sich für 12 GB VRAM – für alle Grafikkarten
• GPU-Preise für KI vergleichen

• Quelle: Öffentlicher llama.cpp-Benchmark auf CUDA
• Quelle: Ollama-Dokumentation, unterstützte NVIDIA-Hardware
• Quelle: GeForce-10-Serie, Spezifikationen
• Quelle: Versionshinweise des CUDA Toolkits