MMLU
Definition
MMLU bewertet Wissen und Problemlösen in vielen Fachgebieten.
Der Benchmark umfasst Multiple-Choice-Fragen aus unterschiedlichen Disziplinen und Schwierigkeitsstufen. Die Auswertung misst den Anteil richtiger Antworten nach festgelegtem Verfahren.
Einfach erklärt
Ein breit gefächerter Wissenstest für Sprachmodelle.
Warum das im Alltag wichtig ist
Er liefert ein Vergleichssignal für fachübergreifende Modellfähigkeiten.
Beispiel aus dem Mittelstand
Fiktiv: Ein Team betrachtet neben dem Gesamtwert die fachlich passenden Teilgebiete.
Grenzen und Fallstricke
- Raten, Datenüberlappung und Promptwahl beeinflussen Werte. Praxisaufgaben können stark abweichen.
Entstehung & Geschichte
Hendrycks und Mitautoren veröffentlichten MMLU 2020.
Anwendung im Mittelstand
- KMU sollten ihn ergänzend zu eigenen Beispielen verwenden.
Häufige Fragen
Misst MMLU die Qualität langer Beratungsgespräche?
Nein, es bewertet ein festes Aufgabenformat.
Quellen
- Measuring Massive Multitask Language Understanding — · Hendrycks et al.: Measuring Massive Multitask Language Understanding —
Redaktionell geprüft am: