Ragas
Definition
KI-Abläufe anhand definierter Kriterien auswerten.
Ragas ist ein Framework zur Evaluation von KI-Anwendungen, bekannt insbesondere für die Bewertung von RAG-Abläufen und deren Antworten.
Einfach erklärt
Ein Prüfstand betrachtet sowohl die gefundenen Unterlagen als auch die daraus formulierte Antwort.
Warum das im Alltag wichtig ist
Unterschiedliche Fehler im Abruf und in der Generierung können getrennt untersucht werden.
Beispiel aus dem Mittelstand
Ein fiktives Team bewertet die Quellenabdeckung und Antworttreue seines Dokumentassistenten.
Grenzen und Fallstricke
- Automatische Metriken und modellbasierte Urteile sind keine unfehlbare fachliche Abnahme.
Entstehung & Geschichte
Ragas entstand im Umfeld der Evaluation abrufgestützter Generierung.
Anwendung im Mittelstand
- Repräsentative Fälle auswählen und automatische Werte mit menschlichen Bewertungen abgleichen.
Häufige Fragen
Ist ein hoher Gesamtwert ausreichend?
Nicht ohne Prüfung der relevanten Fehlerarten.
Quellen
Redaktionell geprüft am: