Trefferquote
Definition
Die Trefferquote misst bei einer Top-k-Auswertung, für wie viele Testfälle ein gesuchter Treffer in der Ergebnisliste liegt.
Hier ist die Trefferquote als Hit Rate einer Rangliste gemeint, nicht als Recall oder Cache-Kennzahl. Im gelesenen Empfehlungsexperiment wird je Testperson ein zurückgehaltenes Zielobjekt gesucht. Die Hit Ratio bewertet dessen Auftreten unter den vorderen Ergebnissen und wird über Testpersonen gemittelt.
Einfach erklärt
Stell dir vor, du suchst je Person ein bestimmtes Buch in einer kurzen Vorschlagsliste. Gezählt wird, ob es dabei ist, nicht sein genauer Platz. Der Vergleich gilt für dieses festgelegte Testszenario.
Warum das im Alltag wichtig ist
Die Kennzahl beschreibt den Erfolg unter einer definierten Listenlänge und Testauswahl. Für die Bewertung müssen diese Bedingungen mitgenannt werden.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Ein Team hält für jeden Testfall ein bekannt passendes Ersatzteil zurück und prüft, ob die Empfehlungsliste dieses Teil enthält.
Grenzen und Fallstricke
- Die Trefferquote zeigt nicht, wie gut alle übrigen Vorschläge sind. Ein Test mit nur einem Zielobjekt darf nicht ohne Erläuterung mit einer Recall-Auswertung über viele relevante Objekte gleichgesetzt werden.
Entstehung & Geschichte
He et al. verwenden in der zitierten Fassung von 2017 Hit Ratio zur Bewertung von Empfehlungslisten. Ihr Protokoll hält je Nutzer eine Interaktion zurück und mittelt die Ergebnisse; dies ist kein Ursprungsnachweis der Kennzahl.
Anwendung im Mittelstand
- Denkbar ist ein interner Empfehlungstest mit dokumentierten Zielobjekten. Die Kandidatenauswahl und Listenlänge sollten bei Vergleichen unverändert bleiben.
Häufige Fragen
Berücksichtigt die Trefferquote den genauen Rang?
Im beschriebenen Hit-Test zählt nur, ob das Zielobjekt innerhalb der Liste vorkommt.
Ist sie mit Recall gleichzusetzen?
Nicht allgemein. Hier wird ein Treffer pro Testfall bewertet, nicht der Anteil aller relevanten Objekte.
Quellen
- Neural Collaborative Filtering · He et al. (2017): Neural Collaborative Filtering
Redaktionell geprüft am: