HumanEval
Definition
HumanEval ist ein 2021 veröffentlichter Benchmark für funktionale Korrektheit von generiertem Python-Code.
Der Datensatz enthält handgeschriebene Programmieraufgaben mit Funktionssignaturen, Docstrings und Tests. Ergebnisse werden häufig über pass@k berichtet.
Einfach erklärt
Wie ein Satz kleiner Programmierprüfungen, bei denen der generierte Code Tests bestehen muss.
Warum das im Alltag wichtig ist
Relevant für Codegenerierungs-Benchmarks, aber nicht ausreichend für Sicherheit, Wartbarkeit oder Produktivität in realen Repositories.
Beispiel aus dem Mittelstand
Ein Team vergleicht mehrere Coding-Modelle auf HumanEval und zusätzlich auf internen, isolierten Repository-Aufgaben.
Grenzen und Fallstricke
- Untrusted Code ohne Sandbox ausführen; Benchmarkscore mit sicherem Produktionscode gleichsetzen; Kontamination oder pass@k-Konfiguration ignorieren.
Entstehung & Geschichte
Chen et al. führten HumanEval 2021 in der Arbeit zu Codex ein.
Anwendung im Mittelstand
- Mögliche Anwendung: Teil einer technischen Evaluation von Coding-Assistenten, ergänzt um reale interne Aufgaben und Code-Review-Kriterien.
Häufige Fragen
Was misst HumanEval?
Funktionale Korrektheit kleiner Python-Aufgaben. Misst es Sicherheit? Nein. Warum Sandbox? Modellcode kann beliebige gefährliche Operationen enthalten.
Quellen
- Evaluating Large Language Models Trained on Code · Chen et al. (2021), Evaluating Large Language Models Trained on Code
- OpenAI HumanEval Repository · OpenAI HumanEval Repository
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: