BLEU-Score
Die Kurzantwort · 14 Wörter
Kurz erklärt
Automatische Metrik zur Bewertung maschinell erzeugter Übersetzungen anhand der Übereinstimmung von n-Grammen mit Referenzübersetzungen.
Flow-alerta.cab (2026): BLEU-Score. https://flow-alerta.cab/glossar/bleu-score. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Historisch wichtige Evaluationsmetrik für maschinelle Übersetzung. Für moderne generative Systeme sollte sie durch semantische und menschliche Bewertung ergänzt werden.
Beispielszenario: Zwei Übersetzungsmodelle werden auf demselben Testsatz und mit denselben Referenzübersetzungen anhand ihres BLEU-Scores verglichen.
Nur bei passenden Übersetzungs- oder Textaufgaben einsetzen und stets mit domänenspezifischen Qualitätskriterien ergänzen.
Auf einen Blick
- Kern
- BLEU vergleicht n-Gramme einer erzeugten Übersetzung mit einer oder mehreren Referenzen, verwendet modifizierte n-Gramm-Präzision und eine Längenstrafe für zu kurze Ausgaben. Die Metrik wurde für Korpusvergleiche entwickelt und misst weder Faktentreue noch vollständige semantische Gleichwertigkeit.
- Nutzen
- Historisch wichtige Evaluationsmetrik für maschinelle Übersetzung. Für moderne generative Systeme sollte sie durch semantische und menschliche Bewertung ergänzt werden.
- Beispiel
- Beispielszenario: Zwei Übersetzungsmodelle werden auf demselben Testsatz und mit denselben Referenzübersetzungen anhand ihres BLEU-Scores verglichen.
- Grenzen
- BLEU zwischen unterschiedlichen Datensätzen vergleichen; einzelne Sätze überinterpretieren; hohen Score mit Faktentreue gleichsetzen; Tokenisierung und Implementierungsdetails ignorieren.
Im Zusammenhang
Fragen, die dazu gestellt werden
Ist ein höherer BLEU-Score besser? Innerhalb derselben sauberen Evaluation meist ja. Misst BLEU Bedeutung vollständig? Nein. Braucht BLEU Referenztexte? Ja.
Alle Details und Hintergründe
BLEU vergleicht n-Gramme einer erzeugten Übersetzung mit einer oder mehreren Referenzen, verwendet modifizierte n-Gramm-Präzision und eine Längenstrafe für zu kurze Ausgaben. Die Metrik wurde für Korpusvergleiche entwickelt und misst weder Faktentreue noch vollständige semantische Gleichwertigkeit.
ELI5 – Einfach erklärt
BLEU prüft, wie stark sich Wortgruppen einer Übersetzung mit guten Referenzübersetzungen überschneiden, und bestraft auffällig kurze Ergebnisse.
Warum das im Alltag wichtig ist
Historisch wichtige Evaluationsmetrik für maschinelle Übersetzung. Für moderne generative Systeme sollte sie durch semantische und menschliche Bewertung ergänzt werden.
Beispiel
Beispielszenario: Zwei Übersetzungsmodelle werden auf demselben Testsatz und mit denselben Referenzübersetzungen anhand ihres BLEU-Scores verglichen.
Fallstricke und Grenzen
- BLEU zwischen unterschiedlichen Datensätzen vergleichen; einzelne Sätze überinterpretieren; hohen Score mit Faktentreue gleichsetzen; Tokenisierung und Implementierungsdetails ignorieren.
Entstehung & Geschichte
Papineni, Roukos, Ward und Zhu stellten BLEU 2002 auf der ACL als automatische Evaluationsmethode für maschinelle Übersetzung vor.
Anwendung im Mittelstand
- Nur bei passenden Übersetzungs- oder Textaufgaben einsetzen und stets mit domänenspezifischen Qualitätskriterien ergänzen.
Verwandte Begriffe
- BERTScore
- ROUGE-Score
- n-Gramm
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Beratung: KI-Potenzialanalyse & Fahrplan zu Aufgaben, Daten und Voraussetzungen eines möglichen ersten KI-Anwendungsfalls.Passendes Tool / Use Case
Praxisbeispiele ansehenUse Case: standardisierter Vergleich zweier Übersetzungsmodelle auf demselben Testsatz.Quellen
- aclanthology.orgPapineni et al., BLEU (ACL 2002), Originalarbeit
Quellenprüfung: 09.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: