Kahneman-Tversky Optimization (KTO)
Definition
KTO ist ein Alignment-Verfahren für Sprachmodelle, das binäre erwünschte bzw. unerwünschte Beispiele statt paarweiser Präferenzdaten nutzen kann.
Das Verfahren formuliert eine prospect-theory-inspirierte Nutzenfunktion und optimiert gewünschte gegenüber unerwünschten Antworten. Es ist ein Post-Training-Ansatz und kein allgemeines Inferenzverfahren.
Einfach erklärt
Wie ein Modell mit „gut“ und „schlecht“ bewerteten Antworten nachzutrainieren, ohne immer Antwortpaare zu benötigen.
Warum das im Alltag wichtig ist
Relevant für spezialisiertes Modell-Post-Training; für normale KI-Nutzung meist unnötig.
Beispiel aus dem Mittelstand
Ein Forschungsteam vergleicht KTO und DPO auf einem domänenspezifischen Präferenzdatensatz.
Grenzen und Fallstricke
- KTO als universell besser darstellen; schwache Labels verwenden; Offline-Benchmarks mit Produktionsverhalten gleichsetzen.
Entstehung & Geschichte
Ethayarajh et al. veröffentlichten KTO 2024 als „Model Alignment as Prospect Theoretic Optimization“.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Nur bei eigener Modellanpassung mit belastbaren Daten und Evaluationspipeline prüfen.
Häufige Fragen
Braucht KTO Präferenzpaare?
Nein, binäre Desirability-Signale können genügen. Ist KTO Prompting? Nein.
Quellen
- KTO · Ethayarajh et al. (2024), KTO
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: