Brier-Score
Die Kurzantwort · 17 Wörter
Kurz erklärt
Proper Scoring Rule zur Bewertung probabilistischer Vorhersagen anhand der quadratischen Abweichung zwischen vorhergesagten Wahrscheinlichkeiten und tatsächlichen Ergebnissen.
Flow-alerta.cab (2026): Brier-Score. https://flow-alerta.cab/glossar/brier-score. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Relevant für Prognosen, Risiko- und Klassifikationssysteme, wenn nicht nur die Klasse, sondern die Qualität der ausgegebenen Wahrscheinlichkeit wichtig ist.
Beispielszenario: Zwei Ausfallmodelle liefern Wahrscheinlichkeiten; der Brier-Score vergleicht, welches Modell insgesamt bessere probabilistische Vorhersagen macht.
Bei Risiko- oder Prognosemodellen zusammen mit Kalibrierungskurven, Diskriminationsmaßen und geschäftlichen Schwellenwerten einsetzen.
Auf einen Blick
- Kern
- Beim binären Brier-Score wird für jede Vorhersage die Differenz zwischen vorhergesagter Wahrscheinlichkeit und tatsächlichem Ergebnis quadriert und anschließend gemittelt. Niedrigere Werte sind besser. Der Score bewertet Wahrscheinlichkeitsvorhersagen insgesamt und ist nicht isoliert ein Maß nur für Kalibrierung.
- Nutzen
- Relevant für Prognosen, Risiko- und Klassifikationssysteme, wenn nicht nur die Klasse, sondern die Qualität der ausgegebenen Wahrscheinlichkeit wichtig ist.
- Beispiel
- Beispielszenario: Zwei Ausfallmodelle liefern Wahrscheinlichkeiten; der Brier-Score vergleicht, welches Modell insgesamt bessere probabilistische Vorhersagen macht.
- Grenzen
- Brier-Score nur als Kalibrierungsmetrik interpretieren; Scores aus unterschiedlichen Definitionen oder Klassenproblemen direkt vergleichen; harte Klassen statt Wahrscheinlichkeiten bewerten.
Fragen, die dazu gestellt werden
Ist ein niedrigerer Brier-Score besser? Ja. Misst er nur Kalibrierung? Nein. Braucht das Modell Wahrscheinlichkeiten? Ja.
Alle Details und Hintergründe
Beim binären Brier-Score wird für jede Vorhersage die Differenz zwischen vorhergesagter Wahrscheinlichkeit und tatsächlichem Ergebnis quadriert und anschließend gemittelt. Niedrigere Werte sind besser. Der Score bewertet Wahrscheinlichkeitsvorhersagen insgesamt und ist nicht isoliert ein Maß nur für Kalibrierung.
ELI5 – Einfach erklärt
Wenn ein Modell sagt „80 Prozent Wahrscheinlichkeit“ und das Ereignis tritt ein oder nicht ein, misst der Brier-Score, wie gut solche Wahrscheinlichkeiten über viele Fälle passen.
Warum das im Alltag wichtig ist
Relevant für Prognosen, Risiko- und Klassifikationssysteme, wenn nicht nur die Klasse, sondern die Qualität der ausgegebenen Wahrscheinlichkeit wichtig ist.
Beispiel
Beispielszenario: Zwei Ausfallmodelle liefern Wahrscheinlichkeiten; der Brier-Score vergleicht, welches Modell insgesamt bessere probabilistische Vorhersagen macht.
Fallstricke und Grenzen
- Brier-Score nur als Kalibrierungsmetrik interpretieren; Scores aus unterschiedlichen Definitionen oder Klassenproblemen direkt vergleichen; harte Klassen statt Wahrscheinlichkeiten bewerten.
Entstehung & Geschichte
Der Brier-Score wird zur Bewertung probabilistischer Klassifikations- und Prognosemodelle eingesetzt. Die aktuelle scikit-learn-Dokumentation erläutert seine Berechnung und die Abgrenzung von reiner Kalibrierung.
Anwendung im Mittelstand
- Bei Risiko- oder Prognosemodellen zusammen mit Kalibrierungskurven, Diskriminationsmaßen und geschäftlichen Schwellenwerten einsetzen.
Verwandte Begriffe
- Wahrscheinlichkeitskalibrierung
- Log Loss
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Beratung: KI-Potenzialanalyse & Fahrplan zu Aufgaben, Daten und Voraussetzungen eines möglichen ersten KI-Anwendungsfalls.Passendes Tool / Use Case
Praxisbeispiele ansehenTool: scikit-learn brier_score_loss; Use Case: Evaluation von Ausfall- oder Eintrittswahrscheinlichkeiten.Quellen
- scikit-learn.orgscikit-learn, Probability calibration
- scikit-learn.orgscikit-learn, brier_score_loss
Quellenprüfung: 09.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: