Toleranzbudget für Halluzinationen
Definition
Ein Halluzinationsbudget legt fest, welches Fehlerrisiko bei einer konkreten KI-Aufgabe akzeptiert werden kann.
Der Ausdruck überträgt die Idee eines Fehlerbudgets auf sachlich falsche oder erfundene KI-Ausgaben. Dafür müssen Fehlertyp, Messverfahren und Konsequenzen festgelegt werden. Eine universell zulässige Fehlerrate gibt es nicht.
Einfach erklärt
Bei einem Spiel ist ein falscher Tipp weniger folgenschwer als eine falsche Angabe in einem wichtigen Dokument. Die erlaubte Fehlergrenze hängt von der Aufgabe ab.
Warum das im Alltag wichtig ist
Macht Qualitätsanforderungen und notwendige Kontrollen eines Anwendungsfalls ausdrücklich.
Beispiel aus dem Mittelstand
Fiktives Beispiel: Ein Betrieb lässt Produktnummern vor der Ausgabe automatisch gegen Stammdaten prüfen, statt dort frei erfundene Angaben zu tolerieren.
Grenzen und Fallstricke
- Ein Durchschnittswert darf schwere Einzelfehler nicht verdecken. Die Grenze ist kein Versprechen, dass Fehler technisch ausgeschlossen sind.
Entstehung & Geschichte
Die Bezeichnung knüpft an Fehlerbudgets aus dem zuverlässigen Betrieb technischer Systeme an.
Anwendung im Mittelstand
- Für verschiedene Aufgaben getrennte Fehlertoleranzen, Kontrollen und Abbruchregeln vereinbaren.
Häufige Fragen
Darf ein Budget null sein?
Als Anforderung ja; daraus folgt jedoch keine Garantie, dass ein unkontrolliertes Sprachmodell fehlerfrei arbeitet.
Quellen
- Estimating the Hallucination Rate of Generative AI · Jesson et al. (2024): Estimating the Hallucination Rate of Generative AI
Redaktionell geprüft am: