ROUGE-Score
Definition
ROUGE ist eine Familie automatischer Maße, die maschinelle Zusammenfassungen über Wortüberlappungen mit Referenztexten bewertet.
ROUGE steht für Recall-Oriented Understudy for Gisting Evaluation und vergleicht eine erzeugte Zusammenfassung mit von Menschen geschriebenen Referenzen. Gezählt werden überlappende Einheiten wie N-Gramme, Wortfolgen und Wortpaare; ROUGE-N ist dabei ein N-Gramm-Recall.
Einfach erklärt
Wie ein Abgleich mit der Musterlösung, der zählt, wie viele Stichworte übereinstimmen, aber nicht prüft, ob die Aussage stimmt.
Warum das im Alltag wichtig ist
ROUGE ermöglicht schnelle automatische Vergleiche von Zusammenfassungen. Es ist jedoch nur ein grober Qualitätsindikator und ersetzt keine inhaltliche Prüfung entscheidungsrelevanter Texte.
Beispiel aus dem Mittelstand
Hypothetisches Beispiel: Ein Ingenieurbüro vergleicht zwei Modelle für Besprechungsprotokolle per ROUGE gegen vorhandene Musterprotokolle und prüft die besten Kandidaten anschließend manuell.
Grenzen und Fallstricke
- ROUGE prüft Textüberlappung, keine Faktentreue. Referenzauswahl und Vorverarbeitung beeinflussen die Werte; unterschiedlich berechnete Ergebnisse sind nicht direkt vergleichbar. Menschliche Urteile können abweichen, weshalb ROUGE nicht allein entscheiden sollte.
Entstehung & Geschichte
Chin-Yew Lin stellte ROUGE 2004 mit mehreren Varianten vor. Die Arbeit knüpfte an N-Gramm-Verfahren von Lin und Hovy (2003) an; drei Maße wurden bereits bei DUC 2004 eingesetzt.
Anwendung im Mittelstand
- Mögliche Anwendungen: Vergleich von Zusammenfassungsmodellen, Regressionstests für Protokoll- und Berichtsassistenten, Vorauswahl vor menschlicher Bewertung.
Häufige Fragen
Misst ROUGE die inhaltliche Korrektheit?
Nein, ROUGE zählt nur Überlappungen mit Referenzzusammenfassungen; Stiennon et al. nennen es einen groben Ersatz für Zusammenfassungsqualität.
Ist ROUGE dasselbe wie BLEU?
Nein, BLEU ist ein präzisionsbasiertes Maß aus der Bewertung maschineller Übersetzung, ROUGE-N dagegen ein N-Gramm-Recall.
Brauche ich mehrere Referenzzusammenfassungen?
Lin berichtet höhere Korrelationen mit menschlichen Urteilen, wenn mehrere Referenzen verwendet wurden.
Quellen
- ROUGE: A Package for Automatic Evaluation of Summaries · Lin (2004): ROUGE: A Package for Automatic Evaluation of Summaries
- Learning to summarize from human feedback · Stiennon et al. (2022): Learning to summarize from human feedback
Quellen geprüft am 14.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: