Referenzdatensatz (Golden Dataset)
Die Kurzantwort · 16 Wörter
Kurz erklärt
Ein Golden Dataset ist ein sorgfältig kuratiertes Referenzset mit geprüften Eingaben und erwarteten Bewertungen oder Ausgaben.
Flow-alerta.cab (2026): Referenzdatensatz (Golden Dataset). https://flow-alerta.cab/glossar/golden-dataset. Redaktionell geprüft am: 10. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Es macht Qualitätsänderungen sichtbar, muss aber versioniert und regelmäßig aktualisiert werden.
Hypothetisches Beispiel: Fachleute pflegen kritische Supportfälle mit Quellen, zulässigen Antworten und Fehlerkategorien.
Dokumentier für jeden Referenzfall Herkunft, Prüfer und Version; trenne Entwicklung und unabhängige Tests.
Auf einen Blick
- Kern
- Ein Referenzdatensatz enthält geprüfte Aufgaben und erwartete Antworten, Labels oder Bewertungskriterien. Er ermöglicht wiederholbare Vergleiche. „Golden Dataset“ ist keine einheitliche Qualitätszertifizierung: Abdeckung, Fehler und Aktualität müssen separat geprüft werden.
- Nutzen
- Es macht Qualitätsänderungen sichtbar, muss aber versioniert und regelmäßig aktualisiert werden.
- Beispiel
- Hypothetisches Beispiel: Fachleute pflegen kritische Supportfälle mit Quellen, zulässigen Antworten und Fehlerkategorien.
- Grenzen
- Testset zum Training verwenden; schwierige Fälle aussortieren; Uneinigkeit verschweigen; reale Drift nicht ergänzen.
Im Zusammenhang
Benchmark (Vergleichstest)
Standardisierte Aufgabe, Testsammlung oder Messmethode, mit der Systeme unter möglichst vergleichbaren Bedingungen bewertet werden.
Evaluationsumgebung
Ein Evaluation Harness führt Tests reproduzierbar aus und sammelt Ergebnisse nach festgelegten Regeln.
Datenannotation (Data Labeling)
Datenannotation versieht Rohdaten nach festgelegten Regeln mit Klassen, Bereichen, Beziehungen oder anderen Merkmalen für Training und Auswertung.
Fragen, die dazu gestellt werden
Ist „golden“ fehlerfrei?
Nein.
Darf das Set verändert werden?
Ja, aber versioniert und mit stabiler Holdout-Prüfung.
Alle Details und Hintergründe
Ein Referenzdatensatz enthält geprüfte Aufgaben und erwartete Antworten, Labels oder Bewertungskriterien. Er ermöglicht wiederholbare Vergleiche. „Golden Dataset“ ist keine einheitliche Qualitätszertifizierung: Abdeckung, Fehler und Aktualität müssen separat geprüft werden.
ELI5 – Einfach erklärt
Ein besonders sorgfältig geprüftes Aufgabenheft dient immer wieder als Vergleich.
Warum das im Alltag wichtig ist
Es macht Qualitätsänderungen sichtbar, muss aber versioniert und regelmäßig aktualisiert werden.
Beispiel
Hypothetisches Beispiel: Fachleute pflegen kritische Supportfälle mit Quellen, zulässigen Antworten und Fehlerkategorien.
Fallstricke und Grenzen
- Testset zum Training verwenden; schwierige Fälle aussortieren; Uneinigkeit verschweigen; reale Drift nicht ergänzen.
Entstehung & Geschichte
Referenzantworten sind ein etablierter Ansatz der Evaluation. Google dokumentiert sie beispielsweise als „golden answers“ für RAG-Auswertungen.
Anwendung im Mittelstand
- Dokumentier für jeden Referenzfall Herkunft, Prüfer und Version; trenne Entwicklung und unabhängige Tests.
Verwandte Begriffe
- Goldset
- Ground Truth
- Benchmark
- Evaluation Harness
- Annotation
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Beratung: Aufgaben, Daten und Voraussetzungen eines möglichen KI-Anwendungsfalls prüfen.Passendes Tool / Use Case
Praxisbeispiele ansehenReferenzantworten, Prüfrubrik und versionierter Evaluationsdatensatz; beispielsweise Vertex AI Evaluation.Quellen
Quellenprüfung: 10.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: