MBPP
Definition
MBPP prüft, ob Modelle kleine Python-Aufgaben lösen.
Der Datensatz enthält kurze natürlichsprachliche Programmieraufgaben, Referenzprogramme und Tests. Generierter Code wird anhand seiner Funktion überprüft.
Einfach erklärt
Das Modell bekommt eine kleine Programmieraufgabe und muss passende Tests bestehen.
Warum das im Alltag wichtig ist
MBPP macht grundlegende Codegenerierung zwischen Modellen vergleichbar.
Beispiel aus dem Mittelstand
Fiktiv: Ein Team vergleicht Modelle bei Listen- und Zeichenkettenaufgaben.
Grenzen und Fallstricke
- Wenige Tests decken nicht alle Fehler ab. Bekannte Aufgaben können in Trainingsdaten enthalten sein.
Entstehung & Geschichte
MBPP wurde in der Arbeit Program Synthesis with Large Language Models 2021 vorgestellt.
Anwendung im Mittelstand
- KMU können ihn als Zusatzsignal zur Auswahl einer Programmierhilfe nutzen.
Häufige Fragen
Beweist ein hoher Wert sicheren Produktionscode?
Nein, Sicherheit und Integration brauchen eigene Prüfungen.
Quellen
- Program Synthesis with Large Language Models — · Austin et al.: Program Synthesis with Large Language Models —
Redaktionell geprüft am: