Sprachmodell als Bewertungsinstanz
Definition
LLM-as-a-Judge nutzt ein Sprachmodell, um Ausgaben anderer Systeme anhand einer Bewertungsrubrik zu beurteilen.
Das Verfahren kann Paarvergleiche, Scores oder Begründungen erzeugen und Evaluation skalieren. LLM-Judges zeigen jedoch Bias, unter anderem Positions-, Verbositäts- oder Selbstpräferenz-Effekte.
Einfach erklärt
Wie einen KI-Prüfer einzusetzen, der Antworten nach einem Bewertungsbogen beurteilt – dessen Urteile aber selbst geprüft werden müssen.
Warum das im Alltag wichtig ist
Relevant für schnelle Evals offener Textaufgaben, wenn rein automatische Kennzahlen nicht reichen.
Beispiel aus dem Mittelstand
Ein Team lässt zwei Antwortvarianten nach Faktentreue, Vollständigkeit und Ton bewerten und kontrolliert regelmäßig eine Stichprobe menschlich.
Grenzen und Fallstricke
- Judge-Score als Ground Truth behandeln; dasselbe Modell sich selbst bewerten lassen; Reihenfolge nicht randomisieren; Rubrik unklar formulieren.
Entstehung & Geschichte
Zheng et al. untersuchten 2023 mit MT-Bench und Chatbot Arena systematisch starke LLMs als Bewertungsinstanzen und dokumentierten mehrere Bias-Arten.
Anwendung im Mittelstand
- Mögliche Anwendungen: Prompt-/Modellvergleich, Regressionstests und Vorauswahl für menschliche Evaluation.
Häufige Fragen
Ersetzt LLM-as-a-Judge Menschen?
Nein. Wie reduziert man Bias? Klare Rubriken, Reihenfolgenwechsel, Referenzbeispiele und menschliche Kalibrierung.
Quellen
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena · Zheng et al. (2023), Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: