Temperaturgesteuertes Sampling
Definition
Die Sampling-Temperatur verändert, wie stark eine Modellauswahl auf besonders wahrscheinliche Möglichkeiten konzentriert ist.
Beim temperaturgesteuerten Sampling werden Logits vor Softmax durch einen positiven Temperaturwert T geteilt und anschließend zufällig gesampelt. T kleiner als eins konzentriert die Verteilung, T größer als eins flacht sie ab.
Einfach erklärt
Ein niedriger Wert bevorzugt stärker die ohnehin wahrscheinlichen Möglichkeiten. Ein höherer Wert verteilt die Auswahl breiter, sodass andere Möglichkeiten eher zum Zug kommen.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Team vergleicht mehrere Temperaturen auf demselben Evaluationssatz und misst Vielfalt, Formatfehler und Faktentreue getrennt.
Grenzen und Fallstricke
- Temperatur als universellen Kreativitäts- oder Wahrheitsregler behandeln, Grenzfall T gleich null implementierungsunabhängig deuten oder Decoding-Temperatur mit nachträglicher Wahrscheinlichkeitskalibrierung verwechseln.
Entstehung & Geschichte
Das Prinzip stammt aus statistischer Mechanik und wurde in neuronaler Textgenerierung als steuerbarer Decoding-Parameter etabliert.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Team vergleicht mehrere Temperaturen auf demselben Evaluationssatz und misst Vielfalt, Formatfehler und Faktentreue getrennt.
Häufige Fragen
Was bedeutet Temperaturgesteuertes Sampling?
Beim temperaturgesteuerten Sampling werden Logits vor Softmax durch einen positiven Temperaturwert T geteilt und anschließend zufällig gesampelt. T kleiner als eins konzentriert die Verteilung, T größer als eins flacht sie ab. Welche Fehler sollte man vermeiden? Temperatur als universellen Kreativitäts- oder Wahrheitsregler behandeln, Grenzfall T gleich null implementierungsunabhängig deuten oder Decoding-Temperatur mit nachträglicher Wahrscheinlichkeitskalibrierung verwechseln.
Quellen
- The Curious Case of Neural Text Degeneration · Holtzman et al., The Curious Case of Neural Text Degeneration
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: