Temperatur, top-p, top-k: die Parameter

#Top-p, top-k, Temperatur: Definition in einer Tabelle

Bei jedem erzeugten Wort berechnet ein Modell für jeden Token seines Vokabulars eine Wahrscheinlichkeit. Die Sampling-Parameter bestimmen anschließend, welcher Token gezogen wird. Top-p und top-k verkürzen die Kandidatenliste; die Temperatur verändert den Unterschied zwischen wahrscheinlichen und unwahrscheinlichen Tokens. Keiner dieser Parameter fügt dem Modell Wissen hinzu: Sie steuern lediglich die Vielfalt und das Risiko.

Diese Standardwerte stammen aus der Modelfile-Referenz von Ollama. Viele Modelle enthalten eigene Werte in ihrer Konfigurationsdatei, die diese Standardwerte ersetzen. Deshalb lohnt es sich, die Modellbeschreibung zu lesen, wie wir weiter unten sehen werden.

#Wie ein LLM das nächste Wort auswählt

Das Modell erzeugt für jede Position eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular. Immer das wahrscheinlichste Token auszuwählen – sogenanntes Greedy Decoding – führt zu eintönigen, repetitiven Texten, die manchmal in einer Schleife feststecken. Deshalb wird eine Zufallsauswahl eingeführt, die durch die Sampling-Parameter eingegrenzt wird. Ein fester Startwert (seed) macht diese Auswahl reproduzierbar: Die Ollama-Dokumentation stellt klar, dass ein bestimmter Startwert bei demselben Prompt denselben Text erzeugt.

Die Reihenfolge, in der die Filter angewendet werden, ist entscheidend. In llama.cpp, der GGUF-Inferenz-Engine, die unter anderem von LM Studio verwendet wird, lautet die Standardreihenfolge: Strafparameter, DRY, top-n sigma, top-k, typical-p, top-p, min-p, XTC und zuletzt die Temperatur. Anders gesagt: top-k und top-p arbeiten mit den ursprünglichen Wahrscheinlichkeiten, und die Temperatur dient nur dazu, aus den verbleibenden Optionen auszuwählen. Viele Tutorials geben die umgekehrte Reihenfolge an; die tatsächliche Reihenfolge kann je nach Engine unterschiedlich sein und lässt sich in llama.cpp über den Parameter --samplers einstellen.

#Ein Zahlenbeispiel: Was bei jeder Einstellung übrig bleibt

Wir betrachten sieben Kandidaten für das nächste Wort mit ihren Wahrscheinlichkeiten: 0,45 ; 0,25 ; 0,12 ; 0,08 ; 0,05 ; 0,03 ; 0,02. Diese Tabelle dient zur Illustration, nicht als Messwert eines realen Modells.

Das Wichtigste: top-k behält unabhängig von der Situation immer dieselbe Anzahl an Kandidaten bei; top-p und min-p passen sich an. Wenn das Modell sehr sicher ist (ein Token mit 0,95), behält top-p möglicherweise nur ein oder zwei Kandidaten bei; wenn es zwischen zehn Wörtern schwankt, behält es mehr bei. Deshalb wird top-p oft gegenüber top-k bevorzugt.

#1. Temperatur: der Regler für den Zufall

Vor dem Sampling werden die Logits des Modells durch die Temperatur geteilt. Bei niedriger Temperatur wird der Abstand zwischen den Tokens größer: Der wahrscheinlichste Token dominiert die anderen. Bei hoher Temperatur verringert sich der Abstand. Bei 0 wählt das Modell immer den wahrscheinlichsten Token und erzeugt bei jedem Versuch identische Ausgaben, was die Dokumentation von llama.cpp bestätigt.

0 à 0,3

Extraktion, Klassifizierung, inhaltsgetreue Zusammenfassung: Sie möchten bei jedem Versuch dieselbe Antwort erhalten.

0,4 à 0,7

Technische Redaktion, Übersetzung, Support: Vielfalt ohne Abweichung.

0,8

Standardwert von Ollama und llama.cpp: allgemeine Konversation.

1 und mehr

Kreativität, Brainstorming; höheres Risiko für Fehler und Abschweifungen.

#2. Top-p: der adaptive Filter

Top-p, auch Nucleus-Sampling genannt, behält die wahrscheinlichsten Tokens bei, bis ihre kumulierte Wahrscheinlichkeit p erreicht. Bei 0,9 wird der am wenigsten wahrscheinliche Teil mit insgesamt 10 % Wahrscheinlichkeit verworfen; bei 1,0 wird nichts herausgefiltert. Die Dokumentation von Ollama weist darauf hin, dass ein höherer Wert, zum Beispiel 0,95, abwechslungsreicheren Text erzeugt und ein niedrigerer Wert, zum Beispiel 0,5, gezielteren und konservativeren Text.

0,5 à 0,7

Sehr konservativ: sichere Antworten, manchmal monoton.

0,9

Ollamas Standardwert: beschneidet den Rand der Verteilung, ohne die Vielfalt zu unterdrücken.

0,95

Standardwert von llama-server und in mehreren Modellkarten empfohlener Wert.

1,0

Filter deaktiviert: Die Temperatur wirkt allein.

#3. Top-k: fester Grenzwert

Top-k berücksichtigt nur die k wahrscheinlichsten Tokens. Die Dokumentation von Ollama beschreibt diesen Parameter als Mittel, um die Wahrscheinlichkeit zu verringern, Unsinn zu erzeugen: Ein höherer Wert (100) führt zu vielfältigeren Antworten, ein niedrigerer (10) zu konservativeren. Der Standardwert ist 40, wie in llama.cpp, wo 0 den Parameter deaktiviert.

Zur Suchanfrage „top p vs top k“: Verwenden Sie top-p als Haupteinstellung, behalten Sie top-k als zusätzliche Begrenzung bei und ändern Sie nicht beide im selben Versuch, sonst wissen Sie nicht, welcher Parameter den Unterschied verursacht hat.

#Standardwerte und Empfehlungen der Hersteller

Die Standardwerte einer Inferenz-Engine sind ein allgemeiner Kompromiss. Modellanbieter veröffentlichen häufig Werte, die auf ihre Modelle abgestimmt sind und von den Standardwerten abweichen können. Hier sind die Empfehlungen aus der Modellkarte von Qwen3.5 für die zugehörigen Modelle, zum Vergleich mit den Standardwerten von Ollama (Temperatur 0,8, top-p 0,9, top-k 40).

Diese Werte gelten für diese Modellfamilie, nicht für alle Modelle. Die Modellbeschreibungen anderer Herausgeber nennen andere Werte: Suchen Sie den Abschnitt zu den empfohlenen Sampling-Parametern in der Modellbeschreibung auf Hugging Face oder auf der Modellseite in der Ollama-Bibliothek. Die Modellbeschreibung von Qwen weist außerdem darauf hin, dass die Unterstützung dieser Parameter je nach Inferenz-Engine variiert.

#Strafparameter: Wiederholung, Häufigkeit, Präsenz

Lokale Modelle, besonders kleine oder stark quantisierte, wiederholen manchmal dieselben Sätze in einer Schleife. Strafparameter schaffen Abhilfe, aber ihre Standardwerte sind oft wenig bekannt. In Ollama hat repeat_penalty standardmäßig den Wert 1,0 und ist damit deaktiviert; die Dokumentation nennt 1,5 als Beispiel für einen Wert, der Wiederholungen stärker bestraft. Der oft genannte Wert 1,1 ist eine bewusst zu wählende Einstellung, kein Standardwert.

repeat_penalty

Bestraft kürzlich verwendete Tokens; repeat_last_n (standardmäßig 64) legt das berücksichtigte Fenster fest.

frequency_penalty

Eine zur Anzahl der Vorkommen proportionale Strafgewichtung für lange Textgenerierungen.

presence_penalty

Abzug, sobald ein Token bereits aufgetreten ist, um einen abwechslungsreicheren Wortschatz zu fördern; Qwen empfiehlt 1,5 in mehreren seiner Modi, wobei bei einem zu hohen Wert das Risiko besteht, dass sich Sprachen vermischen.

#Diese Einstellungen in Ollama anwenden

Es gibt zwei Methoden: ein Modelfile, das Werte für ein benanntes Modell festlegt, oder das Feld options einer API-Anfrage, das dieselben Parameter wie das Modelfile akzeptiert. Das Modelfile eignet sich für den täglichen Gebrauch, die API für ein Programm.

FROM llama3.2
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER top_k 40

ollama create llama-precis -f ./Modelfile
ollama run llama-precis

curl http://localhost:11434/api/generate -d '{"model":"llama3.2","prompt":"Résume en une phrase : ...","stream":false,"options":{"temperature":0.3,"top_p":0.9}}'

Weitere Informationen zu Modelfiles (Systemprompt, Kontext, Vorlage) finden Sie im Leitfaden zur Anpassung. In LM Studio und Jan lassen sich dieselben Parameter im Konfigurationsbereich des Modells einstellen.

#Reasoning-Modelle: nicht alles über die Temperatur regeln

Reasoning-Modelle erzeugen zunächst eine Denkspur, bevor sie antworten. In Ollama stellen diese Modelle ein separates Feld für den Denkprozess bereit, und die verfügbaren Befehle variieren je nach Modell: Die Dokumentation empfiehlt, die show-API abzufragen, um die zulässigen Werte und den Standardwert zu ermitteln. Bei gpt-oss beispielsweise gibt es die Stufen low, medium und high, wobei medium der Standardwert ist.

Um unnötige Abbrüche bei einer einfachen Frage zu vermeiden, agieren Sie zuerst auf dem Niveau der Reflexion, wenn dieses vorhanden ist, anstatt auf der Temperatur. Die Temperatur muss den Modellbeschreibung entsprechen: zu kalte Überlegungen können sich verstopfen, zu heiße können sich verstreuen.

#Voreinstellungen als Ausgangspunkt je nach Anwendungsfall

Diese Presets sind Ausgangspunkte, keine Messwerte. Ändern Sie jeweils nur einen Parameter, führen Sie denselben Prompt dreimal aus und vergleichen Sie: Wenn drei Versuche dieselbe Antwort liefern, obwohl Sie Abwechslung erwarten, ist die Temperatur zu niedrig oder der Seed festgelegt.

#Symptome und Einstellungen zum Ausprobieren

Das Modell wiederholt denselben Satz

Setzen Sie repeat_penalty auf etwa 1,1 oder aktivieren Sie presence_penalty, oder verkürzen Sie die Generierung mit num_predict.

Flache und generische Antworten

Erhöhen Sie die Temperatur um einen Schritt (von 0,7 auf 0,9) oder lockern Sie die Einschränkung durch top_p.

Das Modell erfindet Fakten

Senken Sie die Temperatur, beachten Sie aber, dass das nicht ausreicht: siehe den Leitfaden zu Halluzinationen.

Ungültiges JSON

Niedrige Temperatur und explizit angefordertes Format; verwenden Sie den strukturierten Ausgabemodus von Ollama, wenn er verfügbar ist.

Sprachmischung oder seltsame Wörter

Senken Sie presence_penalty oder repeat_penalty oder erhöhen Sie leicht die Quantisierung des Modells.

• Ollama Modelfile: Ein Modell anpassen
• Grundlagen des Promptings
• System-Prompts beherrschen
• Das Kontextfenster verstehen
• Halluzinationen eines lokalen LLM begrenzen

• Quelle: Ollamas Modelfile-Referenz
• Quelle: Datenblatt Qwen3.5-9B
• Quelle: llama.cpp, Optionen von llama-server
• Quelle: Ollama, Modelle mit Denkfunktion