Übereinstimmung zwischen Annotierenden
Definition
Inter-Annotator Agreement misst, wie stark mehrere Annotierende bei denselben Daten übereinstimmen.
Je nach Datentyp und Anzahl der Bewertenden kommen Kennzahlen wie Cohen’s Kappa, Fleiss’ Kappa oder Krippendorff’s Alpha infrage. Hohe Übereinstimmung bedeutet nicht automatisch, dass Labels sachlich korrekt sind.
Einfach erklärt
Wie zu prüfen, ob mehrere Personen dieselben Beispiele nach denselben Regeln ähnlich bewerten.
Warum das im Alltag wichtig ist
Relevant für Trainings- und Evaluationsdaten, weil unklare Guidelines oft direkt in Labelqualität und Modellbewertung eingehen.
Beispiel aus dem Mittelstand
Zwei Fachkräfte klassifizieren dieselben Reklamationen; starke Abweichungen führen zu einer Überarbeitung der Label-Guideline.
Grenzen und Fallstricke
- Prozentübereinstimmung ohne Zufallskorrektur überinterpretieren; ungeeignete Kennzahl wählen; systematischen gemeinsamen Bias übersehen.
Entstehung & Geschichte
Cohen veröffentlichte 1960 Kappa für die Übereinstimmung zweier Rater bei kategorialen Urteilen; weitere Maße folgten für andere Designs.
Anwendung im Mittelstand
- Mögliche Anwendungen: Qualitätssicherung bei Annotation, Human Evaluation und fachlichen Review-Prozessen.
Häufige Fragen
Bedeutet hohe IAA korrekte Labels?
Nicht zwingend. Welche Kennzahl ist richtig? Sie hängt von Skala, Anzahl der Annotierenden und fehlenden Werten ab.
Quellen
- A Coefficient of Agreement for Nominal Scales · Cohen (1960), A Coefficient of Agreement for Nominal Scales
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: