Halluzinationsrate
Definition
Eine Halluzinationsrate beschreibt, wie häufig Modellausgaben nach einer festgelegten Definition als Halluzination gelten.
Für eine Halluzinationsrate muss feststehen, was als Halluzination zählt und worauf sich die Häufigkeit bezieht. Jesson et al. definieren für In-Context Learning eine Wahrscheinlichkeit für Ausgaben außerhalb eines wahrscheinlichen Bereichs des zugrunde liegenden Mechanismus. Das ist eine konkrete Modellierung, keine universelle Fehlerkennzahl.
Einfach erklärt
Stell dir eine Fehlertüte vor, in die nur Murmeln nach einer festgelegten Prüfregel kommen. Ohne Regel und passende Gesamtmenge sagt die Größe der Tüte wenig aus. Eine statistische Rate bleibt eine vereinfachte Zusammenfassung.
Warum das im Alltag wichtig ist
Für einen Vergleich von Modellen müssen Aufgabe und Bewertungsregel zusammen mit dem Ergebnis dokumentiert sein. Eine isolierte Rate genügt nicht als Qualitätsurteil.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Ein Team legt vor einem Assistententest fest, welche Ausgaben als unbelegte Behauptungen zählen, und dokumentiert die getesteten Aufgaben und Bewertungen.
Grenzen und Fallstricke
- Unterschiedliche Halluzinationsdefinitionen dürfen nicht stillschweigend gleichgesetzt werden. Insbesondere ist die modellbezogene Wahrscheinlichkeit der zitierten Arbeit nicht automatisch ein Anteil falscher Sätze.
Entstehung & Geschichte
Jesson et al. veröffentlichten die zitierte erste Fassung 2024. Darin unterscheiden sie wahre und posterior geschätzte Halluzinationsraten in einem bayesianischen Rahmen für In-Context Learning.
Anwendung im Mittelstand
- Denkbar ist ein dokumentierter Vergleich mehrerer Konfigurationen mit derselben betrieblichen Testaufgabe. Die Auswertung sollte neben der Rate auch einzelne Fehler und Bewertungskriterien enthalten.
Häufige Fragen
Gibt es eine kontextfreie Halluzinationsrate?
Die zitierte Definition ist an Mechanismus, Anfrage und gewählten wahrscheinlichen Bereich gebunden.
Ist jede Halluzinationsrate eine Satzfehlerquote?
Nein. Zähleinheit und Definition müssen ausdrücklich angegeben werden.
Quellen
- Estimating the Hallucination Rate of Generative AI · Jesson et al. (2024): Estimating the Hallucination Rate of Generative AI
Redaktionell geprüft am: