GPQA Diamond
Definition
GPQA Diamond ist eine kuratierte Teilmenge eines anspruchsvollen naturwissenschaftlichen Fragebenchmarks.
GPQA Diamond enthält in der zitierten Fassung 198 Multiple-Choice-Fragen aus Biologie, Physik und Chemie. Die Teilmenge wird nach den Antworten fachkundiger und nicht fachkundiger Prüfpersonen gebildet. Sie gehört zum GPQA-Datensatz und ist vom größeren Hauptdatensatz zu unterscheiden.
Einfach erklärt
Wie eine besonders sorgfältig ausgewählte Prüfungsmappe. Wer darin gut abschneidet, hat aber nicht automatisch jede Aufgabe außerhalb dieser Mappe gelöst.
Warum das im Alltag wichtig ist
Beim Vergleich von Modellergebnissen muss feststehen, welcher Datensatzausschnitt verwendet wurde. Die GPQA-Arbeit unterscheidet Extended, Hauptdatensatz und Diamond.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Ein KI-Team dokumentiert für einen Modellvergleich ausdrücklich, dass es den Diamond-Ausschnitt verwendet.
Grenzen und Fallstricke
- Die Diamond-Auswahl ist nicht identisch mit dem vollständigen GPQA-Datensatz. Die Auswahl berücksichtigt Expertenantworten und nachträglich nachvollziehbare Irrtümer; sie ist kein Beweis für ausnahmslos objektive Fragen oder allgemeine berufliche Eignung.
Entstehung & Geschichte
Rein und weitere Autoren reichten die zitierte GPQA-Erstfassung am 20. November 2023 ein. Der Abschnitt zu Datensatzaufteilungen beschreibt darin auch Diamond.
Anwendung im Mittelstand
- Denkbare Anwendungen sind die Einordnung wissenschaftlicher Modelltests und die Prüfung, ob veröffentlichte Ergebnisse denselben Datensatzausschnitt betreffen.
Häufige Fragen
Ist Diamond der GPQA-Hauptdatensatz?
Nein; die Arbeit unterscheidet beide ausdrücklich.
Welche Fächer umfasst die zitierte Arbeit?
Biologie, Physik und Chemie.
Quellen
- GPQA: A Graduate-Level Google-Proof Q&A Benchmark · Rein et al. (2023): GPQA: A Graduate-Level Google-Proof Q&A Benchmark
Redaktionell geprüft am: