Cohens Kappa
Die Kurzantwort · 16 Wörter
Kurz erklärt
Statistisches Maß für die Übereinstimmung zweier Beurteilender oder Klassifikationen, das die zufällig zu erwartende Übereinstimmung berücksichtigt.
Flow-alerta.cab (2026): Cohens Kappa. https://flow-alerta.cab/glossar/cohen-s-kappa. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Relevant für Labelqualität, Annotation, Qualitätskontrolle und den Vergleich menschlicher oder automatischer Klassifikationen.
Beispielszenario: Zwei Fachpersonen markieren unabhängig 500 Supporttickets nach Anliegen; Cohens Kappa bewertet die Übereinstimmung ihrer Labels.
Bei Trainings- und Evaluationsdaten neben Kappa auch Klassenverteilung, konkrete Konflikte und fachliche Folgen von Uneinigkeit prüfen.
Auf einen Blick
- Kern
- Cohens Kappa vergleicht die beobachtete Übereinstimmung mit der Übereinstimmung, die unter den Randverteilungen zufällig erwartet würde. Ein Wert von 1 bedeutet vollständige Übereinstimmung; 0 entspricht der nach dem Modell erwarteten Zufallsübereinstimmung. Negative Werte sind möglich. Die Interpretation hängt stark von Klassenverteilung und Anwendung ab.
- Nutzen
- Relevant für Labelqualität, Annotation, Qualitätskontrolle und den Vergleich menschlicher oder automatischer Klassifikationen.
- Beispiel
- Beispielszenario: Zwei Fachpersonen markieren unabhängig 500 Supporttickets nach Anliegen; Cohens Kappa bewertet die Übereinstimmung ihrer Labels.
- Grenzen
- Kappa ohne Konfusionsmatrix interpretieren; feste Grenzwerte als universell verwenden; starke Klassenungleichgewichte ignorieren; Korrelation mit Übereinstimmung verwechseln.
Fragen, die dazu gestellt werden
Ist 1 perfekte Übereinstimmung?
Ja, sofern Kappa definiert ist.
Kann Kappa negativ sein?
Ja.
Kann Kappa undefiniert sein?
Ja, etwa wenn beide Beurteilungen ausschließlich dieselbe Kategorie verwenden.
Ist ein bestimmter Wert immer gut oder schlecht?
Nein, die Bewertung ist kontextabhängig.
Alle Details und Hintergründe
Cohens Kappa vergleicht die beobachtete Übereinstimmung mit der Übereinstimmung, die unter den Randverteilungen zufällig erwartet würde. Ein Wert von 1 bedeutet vollständige Übereinstimmung; 0 entspricht der nach dem Modell erwarteten Zufallsübereinstimmung. Negative Werte sind möglich. Die Interpretation hängt stark von Klassenverteilung und Anwendung ab.
ELI5 – Einfach erklärt
Zwei Personen vergeben Kategorien. Kappa prüft, wie viel ihrer Übereinstimmung über das hinausgeht, was zufällig zu erwarten wäre.
Warum das im Alltag wichtig ist
Relevant für Labelqualität, Annotation, Qualitätskontrolle und den Vergleich menschlicher oder automatischer Klassifikationen.
Beispiel
Beispielszenario: Zwei Fachpersonen markieren unabhängig 500 Supporttickets nach Anliegen; Cohens Kappa bewertet die Übereinstimmung ihrer Labels.
Fallstricke und Grenzen
- Kappa ohne Konfusionsmatrix interpretieren; feste Grenzwerte als universell verwenden; starke Klassenungleichgewichte ignorieren; Korrelation mit Übereinstimmung verwechseln.
Entstehung & Geschichte
Jacob Cohen führte den Kappa-Koeffizienten 1960 zur Messung nominaler Übereinstimmung zwischen zwei Ratern ein.
Anwendung im Mittelstand
- Bei Trainings- und Evaluationsdaten neben Kappa auch Klassenverteilung, konkrete Konflikte und fachliche Folgen von Uneinigkeit prüfen.
Verwandte Begriffe
- Konfusionsmatrix
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Beratung: KI-Potenzialanalyse & Fahrplan zu Aufgaben, Daten und Voraussetzungen eines möglichen ersten KI-Anwendungsfalls.Passendes Tool / Use Case
Praxisbeispiele ansehenTool: scikit-learn cohen_kappa_score; Use Case: Prüfung der Übereinstimmung zweier Annotationsteams.Quellen
- scikit-learn.orgscikit-learn, cohen_kappa_score
Quellenprüfung: 09.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: