Online-Evaluation
Definition
Online-Evaluation bewertet neue Interaktionen im tatsächlichen Betrieb.
Die Bewertung eines Systems anhand neu entstehender Interaktionen im Livebetrieb, etwa durch kontrollierte Experimente, Interleaving oder vorsichtig begrenzte Rollouts.
Einfach erklärt
Man beobachtet unter kontrollierten Bedingungen, wie eine Variante bei echten aktuellen Anfragen funktioniert.
Warum das im Alltag wichtig ist
Hilft, Modellqualität, Grenzen und technische Entscheidungen realistisch einzuordnen.
Beispiel aus dem Mittelstand
Zwei Rankingvarianten werden mit begrenztem Traffic und Schutzmetriken verglichen.
Grenzen und Fallstricke
- Beobachtete Live-Unterschiede ohne geeignetes Design kausal deuten, ohne Guardrails experimentieren oder Neuheitseffekte, Stichprobengröße und Langzeitwirkungen ignorieren.
Entstehung & Geschichte
Online-Evaluation wurde mit Webexperimenten, Banditen und produktiven Empfehlungssystemen verbreitet.
Anwendung im Mittelstand
- Mögliche Anwendung: Zwei Rankingvarianten werden mit begrenztem Traffic und Schutzmetriken verglichen.
Häufige Fragen
Was bedeutet Online-Evaluation?
Die Bewertung eines Systems anhand neu entstehender Interaktionen im Livebetrieb, etwa durch kontrollierte Experimente, Interleaving oder vorsichtig begrenzte Rollouts.
Welche Fehler sollte man vermeiden?
Beobachtete Live-Unterschiede ohne geeignetes Design kausal deuten, ohne Guardrails experimentieren oder Neuheitseffekte, Stichprobengröße und Langzeitwirkungen ignorieren.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: