Unsloth: Ein LLM auf einer großen Grafikkarte zu finetunen public

#Die Frage, die vor der Installation geklärt werden muss

Ja, ein Modell mit 7 oder 8 Milliarden Parametern lässt sich auf einer Consumer-Grafikkarte fine-tunen: Die Dokumentation von Unsloth nennt für QLoRA mit 4 Bit einen Mindestbedarf von 5 bis 6 GB VRAM. Eine Grafikkarte mit 12 GB ist daher geeignet und bietet Spielraum für Kontext und Batch. Unsloth implementiert die aufwendigen Schritte des LoRA- und QLoRA-Fine-Tunings neu, um laut Anbieter bis zu doppelt so schnell zu sein und dabei 70 % weniger VRAM zu benötigen. Diese Zahlen gelten allerdings nur für bestimmte Notebooks. Das Ergebnis lässt sich als GGUF exportieren, um es in Ollama auszuführen. Die eigentliche Frage stellt sich jedoch vor der Installation: Fine-Tuning verändert das Verhalten eines Modells (Ton, Format, Sprachregister), es aktualisiert aber nicht dessen Wissen. Wenn das Modell Ihre Dokumente kennen soll, bauen Sie zunächst eine Dokumentensuche auf. Rechnen Sie außerdem damit, dass die Vorbereitung des Datensatzes mehr Zeit benötigt als das Training.

Fine-Tuning verändert das Verhalten eines Modells. Die Dokumentensuche verändert, was es zum Zeitpunkt der Antwort weiß. Wer beides verwechselt, verliert Wochen.

• Fine-tuning oder RAG: detaillierter Entscheidungsbaum
• LoRA und QLoRA: Wie funktioniert das wirklich
• Ein vollständiges Beispiel für LoRA-Fine-Tuning
• Anhand von Zahlen beurteilen, ob ein RAG besser abschneiden würde

#Was Unsloth konkret verändert

Die Methode ist nicht neu: Die Modellgewichte werden eingefroren, und trainiert werden nur kleine Matrizen, die zu jedem Gewicht hinzugefügt werden – laut dem Unsloth-Leitfaden etwa 1 % der Parameter. LoRA behält das ursprüngliche Modell in 16 Bit bei, QLoRA quantisiert es auf 4 Bit, wodurch 75 % Speicher eingespart werden. Das ist das Standardverfahren und gehört nicht Unsloth.

Der Beitrag der Bibliothek liegt in der Implementierung: Für die rechenintensiven Schritte wurden die Rechenkerne neu geschrieben. Das Projekt gibt es in drei Formen: Unsloth Desktop, eine native Anwendung, Unsloth Studio, eine Weboberfläche, und Unsloth Core, die per Code gesteuerte Version, um die es in diesem Artikel geht. Es wird unter einer Doppellizenz veröffentlicht: Apache 2.0 für den Kern, AGPL-3.0 für bestimmte optionale Komponenten wie die Studio-Oberfläche. Das Projekt gibt an, Sprach-, Diffusions-, Sprachsynthese- und Embedding-Modelle doppelt so schnell mit 70 % weniger VRAM zu trainieren, ohne Genauigkeitsverlust. Bei Mixture-of-Experts-Architekturen (MoE) fällt der veröffentlichte Zugewinn noch größer aus: Bei bestimmten neueren Modellen ist das Training bis zu 12-mal so schnell und spart mehr als 35 % VRAM. Wie alle Leistungsangaben von Anbietern beschreiben diese Zahlen den besten Fall: Das README selbst zeigt, dass „doppelt so schnell, 70 % weniger VRAM“ nur für bestimmte Notebooks gilt.

#Welche Karte für welches Modell

Die Dokumentation stellt klar, dass diese Werte absolute Mindestwerte sind: Je nach Modell kann mehr Speicher erforderlich sein. Sie nennt eine zu hohe Batchgröße als häufige Ursache für ausgeschöpften Speicher und empfiehlt, sie auf 1, 2 oder 3 zu reduzieren sowie für die ersten Tests eine Kontextlänge von 2048 zu verwenden.

#Die eigentliche Arbeit steckt im Datensatz

Ein Fine-Tuning scheitert nie wegen der Bibliothek. Es scheitert wegen der Daten.

Format

Meist ein Datensatz mit zwei Spalten, Frage und Antwort, in der vom Modell erwarteten Gesprächsstruktur. Der Leitfaden empfiehlt, von einem Instruct-Modell auszugehen: Es akzeptiert Gesprächsvorlagen (ChatML, ShareGPT) direkt und benötigt weniger Daten als ein Basismodell. Einheitlichkeit zählt mehr als Umfang.

Umfang

Der Unsloth-Leitfaden empfiehlt als absolutes Minimum 100 Zeilen und für bessere Ergebnisse mehr als 1.000 Zeilen. Ton und Format lassen sich mit wenigen Beispielen verändern; ein wirklich auf fachliche Aufgaben zugeschnittenes Verhalten erfordert mehr Beispiele, die untereinander konsistent sind.

Qualität

Das Modell ahmt nach, was man ihm zeigt, einschließlich der Fehler. Ein systematischer Fehler in den Daten wird zu einem systematischen Fehler des Modells.

Kontrolldatensatz

Beispiele, die das Modell während des Trainings nie gesehen hat. Ohne sie ist es unmöglich, das Lernen vom einfachen Auswendiglernen zu unterscheiden.

Ohne Code

Unsloth Studio bietet Data Recipes, die PDF-, CSV- oder DOCX-Dateien über einen visuellen Workflow in Datensätze umwandeln und eine Vorschau anzeigen, bevor die vollständige Erstellung gestartet wird.

#Vom Adapter zum nutzbaren Modell

Der Ablauf besteht aus drei Schritten: ein Modell in 4 Bit laden, es mit einem der offiziellen Notebooks trainieren und anschließend exportieren. Der erste Codeblock lädt das Modell und fügt die LoRA-Adapter hinzu; das eigentliche Training übernimmt eines der Unsloth-Notebooks, das Sie laut diesem Leitfaden in Ihre lokale Umgebung kopieren sollten.

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Qwen3-8B-unsloth-bnb-4bit",  # quantification dynamique 4 bits d'Unsloth
    max_seq_length=2048,
    load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(model, r=16, lora_alpha=16)

Die Endung des Namens ist entscheidend. Laut dem Leitfaden handelt es sich bei einem Modell, dessen Name auf unsloth-bnb-4bit endet, um eine dynamische 4-Bit-Quantisierung von Unsloth: Diese benötigt etwas mehr VRAM als eine standardmäßige BitsAndBytes-Quantisierung, bietet aber eine deutlich höhere Genauigkeit. Ein Name, der nur auf bnb-4bit endet, bezeichnet die Standardversion. Der Leitfaden ergänzt, dass es für Training und Bereitstellung vorteilhaft ist, dieselbe numerische Präzision zu verwenden: Wer das Modell in 4 Bit bereitstellt, trainiert es auch in 4 Bit.

1. 01
   Trainieren

   Das Ergebnis ist ein LoRA-Adapter, etwa 100 MB groß im Beispiel von Unsloth, kein vollständiges Modell.
2. 02
   Beurteilen

   Anhand des Kontrolldatensatzes und im Vergleich zum ursprünglichen Modell. „Besser“ muss nachgewiesen werden und darf nicht einfach angenommen werden. Der Leitfaden weist darauf hin, dass automatische Evaluationswerkzeuge Ihre Kriterien möglicherweise nur unzureichend widerspiegeln.
3. 03
   Zusammenführen oder getrennt halten

   Der Adapter kann getrennt bleiben und austauschbar sein oder in die Gewichte integriert werden: model.save_pretrained_merged mit save_method="merged_16bit".
4. 04
   In GGUF exportieren und quantisieren

   model.save_pretrained_gguf erzeugt die Datei mit q4_k_m, q8_0 oder f16 je nach Wahl. Damit ist das Ergebnis für Ollama oder llama.cpp auf normalen Geräten ausführbar.

model.save_pretrained_gguf(
    "mon-modele-q4", tokenizer, quantization_method="q4_k_m"
)
# puis, avec le Modelfile fourni : ollama create mon-modele -f Modelfile

• Ein GGUF-Modell in Ollama importieren
• Die Quantisierungsstufe Ihres Modells wählen

#Klassische Fallen

Unwissentlich von einem Basismodell ausgehen

Der Leitfaden empfiehlt Instruct-Modelle: Sie unterstützen Gesprächsvorlagen und benötigen weniger Daten. Ein Basismodell erfordert ein anderes Format (Alpaca, Vicuna) und mehr Beispiele.

Die Chatvorlage vergessen

Formatierte Beispiele, die nicht dem erwarteten Modellformat entsprechen, führen zu einem technisch erfolgreichen, aber praktisch nutzlosen Training.

Anhand der Trainingsbeispiele messen

Dieser Fehler führt dazu, dass spektakuläre Ergebnisse angekündigt, aber enttäuschende Modelle geliefert werden.

Glauben, dass dies die Recherche in Dokumenten ersetzen wird

Was Sie dem Modell beibringen, veraltet, sobald sich Ihre Informationen ändern, und das Modell nennt seine Quellen nicht. Bei Fakten, die sich ändern, bleibt die Recherche in Dokumenten zuverlässiger.

Die Bereinigung der Beispiele unterschätzen

Fast identische Doppelungen in der Datensammlung lenken das Training in Richtung dieser spezifischen Fälle, ohne dass dies in den beobachteten Metriken sichtbar wird.

Mehrere Einstellungen gleichzeitig ändern

Die Lernrate, den Adapterrang und die Sequenzlänge im selben Versuch zu ändern, verhindert, dass sich feststellen lässt, welche Einstellung die beobachtete Änderung bewirkt hat.

#Konkrete Anwendungsfälle

Kundensupport mit einheitlichem Ton

Ein auf echten Dialogen feinabgestimmtes Modell antwortet in der Stimme der Marke, ohne dass Stilvorgaben in jedem Prompt wiederholt werden müssen.

Extraktion in einem strikten Format

Fine-Tuning anhand von Eingabe-Ausgabe-Beispielen legt das Ausgabeformat zuverlässiger fest als ein Prompt allein, was vor der Weitergabe des Ergebnisses an ein nachgelagertes System hilfreich ist.

Diese Fälle haben eines gemeinsam: Jeder lässt sich messen. Bevor Sie ein Training starten, formulieren Sie das Erfolgskriterium in einem überprüfbaren Satz – beispielsweise „Das JSON-Format wird bei mindestens 95 % der Ausgaben für den Kontrolldatensatz eingehalten“ – statt sich auf den allgemeinen Eindruck einer Verbesserung zu verlassen. Dieses Kriterium, nicht die Intuition, zeigt, ob das Ergebnis die investierte Zeit rechtfertigt.

• Quelle: offizielles Unsloth-Repository (Funktionen, Hardware, duale Lizenzierung)
• Quelle: Voraussetzungen und minimaler VRAM-Bedarf nach Modellgröße
• Quelle: Unsloths Leitfaden zum Fine-Tuning
• Quelle: GGUF-Export und Probleme mit dem Template
• Quelle: Leistungszahlen zu MoE-Modellen

#Die tatsächlichen Kosten über den Preis der Grafikkarte hinaus

Die Grafikkarte ist nur ein Aufwandsposten unter vielen. Konsistente Beispiele zu sammeln und zu bereinigen, einen Kontrolldatensatz zu erstellen, den das Modell niemals zu sehen bekommt, und anschließend jede Version mit dem ursprünglichen Modell zu vergleichen, fällt oft stärker ins Gewicht als das Training selbst, das der Unsloth-Leitfaden anhand eines Versuchs mit 60 Schritten veranschaulicht.

Deshalb verkürzt Unsloth die Dauer eines Projekts nicht so stark, wie man es sich erhofft, so schnell es beim Training auch sein mag: Es beseitigt den technischen Engpass, nicht die Arbeit an den Daten.

#FAQ

Empfohlene Hardware: RTX 5070 Ti 16 GB — NVIDIA-Grafikkarte mit 16 GB, ausreichend, um ein 7–8B-Modell mit QLoRA feinzujustieren. Alle KI-Hardware →