Evaluation durch Menschen
Definition
Human Evaluation bewertet KI-Ausgaben durch Menschen nach definierten Kriterien.
Menschen beurteilen beispielsweise Korrektheit, Nützlichkeit, Stil, Sicherheit oder Präferenzen. Gute Evaluation benötigt klare Rubriken, geeignete Stichproben und möglichst konsistente Bewertungsprozesse.
Einfach erklärt
Wie eine Qualitätsprüfung durch echte Prüfer:innen statt nur durch automatische Kennzahlen.
Warum das im Alltag wichtig ist
Sehr relevant für offene Sprach- und Kreativaufgaben, bei denen automatische Metriken wichtige Qualitätsaspekte nicht zuverlässig abbilden.
Beispiel aus dem Mittelstand
Fachkräfte bewerten eine Stichprobe von Supportantworten nach Richtigkeit, Vollständigkeit, Ton und Eskalationsbedarf.
Grenzen und Fallstricke
- Unklare Kriterien; zu kleine Stichprobe; Bewerter nicht kalibrieren; sensible Daten unnötig zeigen; subjektive Präferenz als objektive Wahrheit behandeln.
Entstehung & Geschichte
Die Forschung zur Generierung natürlicher Sprache dokumentiert methodische Empfehlungen für menschliche Textbewertung, etwa klar definierte Kriterien, geeignete Stichproben und mehrere Bewertende (van der Lee et al., 2019).
Anwendung im Mittelstand
- Mögliche Anwendungen: Abnahme von KI-Assistenten, Qualitätsstichproben, Vergleich von Prompts/Modellen und laufende Produktionskontrolle.
Häufige Fragen
Ist Human Evaluation objektiv?
Nicht vollständig; gute Rubriken und mehrere Bewerter können die Zuverlässigkeit erhöhen. Ersetzt sie automatische Tests? Nein, beides ergänzt sich.
Quellen
- Best practices for the human evaluation of automatically generated text · Van der Lee et al. (2019), Best practices for the human evaluation of automatically generated text
Quellenprüfung: 11.10.2026.
Redaktionell geprüft am: