Längenstrafe
Definition
Eine Längenstrafe verändert beim Decoding, wie Sequenzlänge in den Score einer generierten Ausgabe eingeht.
Ohne Anpassung können Summen von Log-Wahrscheinlichkeiten längere oder kürzere Sequenzen systematisch bevorzugen. Konkrete Formeln unterscheiden sich zwischen Implementierungen.
Einfach erklärt
Wie den Bewertungsscore so anzupassen, dass Antworten nicht allein wegen ihrer Länge bevorzugt oder benachteiligt werden.
Warum das im Alltag wichtig ist
Relevant bei Beam Search, Übersetzung und Sequenzgenerierung.
Beispiel aus dem Mittelstand
Ein Übersetzungsmodell wird mit mehreren Length-Penalty-Werten auf Qualität und Ausgabelänge verglichen.
Grenzen und Fallstricke
- Parameterdefinition verschiedener Bibliotheken gleichsetzen; längere Antworten automatisch als besser bewerten.
Entstehung & Geschichte
Neurale Übersetzungssysteme wie Googles GNMT verwendeten explizite Length-Normalization/Penalty-Terme im Beam Search.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Bei Sequenzgenerierung nur nach messbaren Qualitäts- und Längenzielen einstellen.
Häufige Fragen
Ist Length Penalty universell definiert?
Nein. Wirkt sie beim Training? Typischerweise beim Decoding.
Quellen
- Google’s Neural Machine Translation System · Wu et al. (2016), Google’s Neural Machine Translation System
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: