Kalibrierung
Definition
Kalibrierung beschreibt, wie gut vorhergesagte Wahrscheinlichkeiten mit tatsächlich beobachteten Häufigkeiten übereinstimmen.
Wenn ein Modell für viele Fälle etwa 80 % Wahrscheinlichkeit ausgibt, sollten bei guter Kalibrierung ungefähr 80 % dieser Fälle korrekt sein. Kalibrierung ist etwas anderes als reine Accuracy.
Einfach erklärt
Wie sicherzustellen, dass „80 % sicher“ langfristig auch ungefähr 80 von 100 richtigen Fällen entspricht.
Warum das im Alltag wichtig ist
Relevant für Entscheidungen mit Schwellenwerten, Risiko und menschlicher Prüfung.
Beispiel aus dem Mittelstand
Ein Klassifikator eskaliert Fälle unter 70 % Konfidenz; vorher wird geprüft, ob seine Wahrscheinlichkeiten tatsächlich kalibriert sind.
Grenzen und Fallstricke
- Confidence als Wahrscheinlichkeit interpretieren, ohne Kalibrierung zu prüfen; ECE allein verwenden; Kalibrierung auf andere Datenverteilungen übertragen.
Entstehung & Geschichte
Guo et al. zeigten 2017, dass moderne neuronale Netze häufig schlecht kalibriert sind und Temperature Scaling in vielen Fällen hilfreich sein kann.
Anwendung im Mittelstand
- Mögliche Anwendung: Modellwahrscheinlichkeiten für Entscheidungsschwellen und Priorisierungen bewerten und unsichere Fälle gezielt einer menschlichen Prüfung zuführen.
Häufige Fragen
Ist ein genaueres Modell automatisch besser kalibriert?
Nein. Was ist Temperature Scaling? Eine einfache nachträgliche Kalibrierungsmethode mit einem Parameter.
Quellen
- On Calibration of Modern Neural Networks · Guo et al. (2017), On Calibration of Modern Neural Networks
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: