Halluzinationserkennung
Definition
Halluzinationserkennung versucht, unbelegte, widersprüchliche oder erfundene KI-Ausgaben automatisch oder manuell zu erkennen.
Verfahren vergleichen Antworten beispielsweise mit Quellen, prüfen Konsistenz, verwenden Klassifikatoren oder menschliche Bewertung. Es gibt keinen fehlerfreien universellen Detektor.
Einfach erklärt
Wie einen Faktenprüfer einzubauen, der verdächtige Aussagen markiert – aber selbst Fehler machen kann.
Warum das im Alltag wichtig ist
Relevant für Wissensassistenten, Support, Recherche und jede Anwendung, in der falsche Aussagen Folgekosten erzeugen.
Beispiel aus dem Mittelstand
Ein RAG-System prüft, ob jede Tatsachenbehauptung durch eine angegebene Dokumentstelle gestützt wird und markiert unklare Fälle.
Grenzen und Fallstricke
- Einen Detektor als Wahrheitssystem behandeln; fehlende Quellen mit Falschheit gleichsetzen; Domänenunterschiede ignorieren; nur Selbstbewertung desselben Modells verwenden.
Entstehung & Geschichte
NIST beschreibt „Confabulation“ als Risiko generativer KI. HaluEval wurde 2023 als Benchmark zur Erkennung halluzinierter Inhalte vorgestellt.
Anwendung im Mittelstand
- Mögliche Anwendungen: Quellenprüfung, Evaluationssets, automatische Warnungen und menschliche Nachkontrolle bei risikoreichen Antworten.
Häufige Fragen
Kann Halluzinationserkennung alle Fehler finden?
Nein. Ist Grounding dasselbe? Nein, Grounding reduziert bzw. prüft Quellenbezug, Detection bewertet Ausgaben.
Quellen
- Generative AI Profile · NIST AI 600-1, Generative AI Profile
- HaluEval · Li et al. (2023), HaluEval
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: