Off-Policy-Evaluation
Definition
Off-Policy-Evaluation schätzt eine neue Strategie anhand Daten einer anderen Strategie.
Die Schätzung des erwarteten Ergebnisses einer Zielstrategie anhand protokollierter Daten, die unter einer anderen Verhaltensstrategie erhoben wurden.
Einfach erklärt
Man versucht aus alten Entscheidungen und Ergebnissen abzuschätzen, wie eine andere Vorgehensweise abgeschnitten hätte.
Warum das im Alltag wichtig ist
Hilft, Modellqualität, Grenzen und technische Entscheidungen realistisch einzuordnen.
Beispiel aus dem Mittelstand
Eine neue Empfehlungsstrategie wird mit protokollierten Aktionen, Ergebnissen und den für den gewählten Schätzer nötigen Wahrscheinlichkeiten bewertet, bevor sie online läuft.
Grenzen und Fallstricke
- Fehlende Überlappung zwischen Ziel- und Verhaltensstrategie ignorieren, bei gewichtungsbasierten Schätzern unzuverlässige Propensity Scores verwenden oder Modellfehler, Varianz und Unsicherheit verschweigen.
Entstehung & Geschichte
OPE entstand in Reinforcement Learning, Kausalinferenz und kontextuellen Banditen.
Anwendung im Mittelstand
- Mögliche Anwendung: Eine neue Empfehlungsstrategie wird mit protokollierten Aktionen, Ergebnissen und den für den gewählten Schätzer nötigen Wahrscheinlichkeiten bewertet, bevor sie online läuft.
Häufige Fragen
Was bedeutet Off-Policy-Evaluation?
Die Schätzung des erwarteten Ergebnisses einer Zielstrategie anhand protokollierter Daten, die unter einer anderen Verhaltensstrategie erhoben wurden.
Welche Fehler sollte man vermeiden?
Fehlende Überlappung zwischen Ziel- und Verhaltensstrategie ignorieren, bei gewichtungsbasierten Schätzern unzuverlässige Propensity Scores verwenden oder Modellfehler, Varianz und Unsicherheit verschweigen.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: