Beschönigende Darstellung von Evaluationen (Eval Washing)
Definition
Eval Washing bezeichnet die beschönigende Darstellung von Testergebnissen eines KI-Systems.
Der kritische Ausdruck beschreibt, dass ausgewählte günstige Tests ein umfassenderes Bild von Leistungsfähigkeit oder Sicherheit vermitteln, als die Ergebnisse tatsächlich tragen. Die KI kann real funktionieren, während ihre Darstellung wichtige Grenzen ausblendet.
Einfach erklärt
Ein Zeugnis wirkt besser, wenn nur die besten Fächer gezeigt werden. Die weggelassenen Ergebnisse können für die Entscheidung wichtig sein.
Warum das im Alltag wichtig ist
Hilft, KI-Angebote anhand der eigenen Aufgaben statt allein anhand von Werbeaussagen zu beurteilen.
Beispiel aus dem Mittelstand
Fiktives Beispiel: Eine Dokumenten-KI wird nur mit sauberen PDFs beworben; im Betrieb sind zusätzlich schlecht gescannte Formulare relevant.
Grenzen und Fallstricke
- Ein schwaches Testergebnis beweist noch keine bewusste Täuschung. Testauswahl, Bedingungen und Aussage müssen gemeinsam betrachtet werden.
Entstehung & Geschichte
Der Ausdruck überträgt die Kritik an beschönigender Öffentlichkeitsarbeit auf KI-Evaluationen.
Anwendung im Mittelstand
- Eigene typische und schwierige Fälle in die Abnahme einer KI-Lösung aufnehmen.
Häufige Fragen
Ist jeder gute Benchmarkwert Eval Washing?
Nein, entscheidend ist, ob seine Grenzen transparent und die daraus abgeleiteten Aussagen angemessen sind.
Quellen
- Eval Washing, dokumentierter Sprachgebrauch · Davies Meyer: Eval Washing, dokumentierter Sprachgebrauch
Redaktionell geprüft am: