HellaSwag
Definition
HellaSwag ist ein Benchmark für Commonsense-Schlussfolgern und das plausible Fortsetzen von Situationen.
Das 2019 vorgestellte Dataset nutzt Multiple-Choice-Fortsetzungen und adversarial filtering, um für Modelle schwierige, für Menschen meist leichte Beispiele zu erzeugen.
Einfach erklärt
Wie ein Test, bei dem ein Modell auswählen muss, welche Fortsetzung einer Alltagsszene am plausibelsten ist.
Warum das im Alltag wichtig ist
Relevant für standardisierte Modellvergleiche, aber nur für einen begrenzten Ausschnitt von Sprachverständnis und Commonsense.
Beispiel aus dem Mittelstand
Ein Team nutzt HellaSwag als einen von mehreren Benchmarks und ergänzt ihn um eigene Servicedialoge und Dokumentaufgaben.
Grenzen und Fallstricke
- Benchmarkwerte mit realer Zuverlässigkeit gleichsetzen; mögliche Trainingsdatenkontamination ignorieren; nur einen Score zur Modellentscheidung nutzen.
Entstehung & Geschichte
Zellers et al. veröffentlichten HellaSwag 2019 als Weiterentwicklung adversarial gefilterter Commonsense-Aufgaben.
Anwendung im Mittelstand
- Mögliche Anwendung: technischer Modellvergleich im Rahmen einer breiteren Evaluation.
Häufige Fragen
Was misst HellaSwag?
Plausible Fortsetzungen in Commonsense-Szenarien. Ist ein hoher Score ein Beweis für allgemeine Intelligenz? Nein.
Quellen
- HellaSwag · Zellers et al. (2019), HellaSwag
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: