Evaluation im Schattenbetrieb
Definition
Evaluation im Schattenbetrieb misst eine neue Variante parallel zum wirksamen bisherigen System.
Ein Evaluationsdesign, das Ausgaben eines im Schattenbetrieb laufenden Systems anhand realer Produktionsanfragen misst, während das bisherige System die wirksame Entscheidung trifft.
Einfach erklärt
Beide Lösungen bearbeiten dieselbe Aufgabe, doch nur die alte entscheidet; die neue wird zum Vergleich beobachtet.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein neues Ranking wird parallel berechnet und gegen Klick- sowie Qualitätsmetriken verglichen.
Grenzen und Fallstricke
- Shadow Evaluation mit Online-A/B-Test gleichsetzen, Feedback der bestehenden Policy als unverzerrte Ground Truth verwenden, kontrafaktische Auswahlverzerrung ignorieren oder Latenz und Kosten ausblenden.
Entstehung & Geschichte
Der Ansatz verbindet Shadow Deployment mit Modell- und Entscheidungsbewertung.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein neues Ranking wird parallel berechnet und gegen Klick- sowie Qualitätsmetriken verglichen.
Häufige Fragen
Was bedeutet Evaluation im Schattenbetrieb?
Ein Evaluationsdesign, das Ausgaben eines im Schattenbetrieb laufenden Systems anhand realer Produktionsanfragen misst, während das bisherige System die wirksame Entscheidung trifft. Welche Fehler sollte man vermeiden? Shadow Evaluation mit Online-A/B-Test gleichsetzen, Feedback der bestehenden Policy als unverzerrte Ground Truth verwenden, kontrafaktische Auswahlverzerrung ignorieren oder Latenz und Kosten ausblenden.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: