SWE-bench
Definition
SWE-bench prüft, ob Systeme zu realen Softwareproblemen Codeänderungen erzeugen, die die vorgesehenen Tests bestehen.
SWE-bench ist eine Benchmarkfamilie, die Systeme anhand ausgewählter realer GitHub-Issues und zugehöriger Repository-Zustände darauf prüft, testbestehende Codeänderungen zu erzeugen.
Einfach erklärt
Das System bekommt ein ausgewähltes Problem aus einem echten Projekt samt passendem Codezustand. Tests prüfen anschließend seinen Lösungsvorschlag.
Warum das im Alltag wichtig ist
Der Begriff trägt zu sicheren, wartbaren und leistungsfähigen Webanwendungen sowie belastbaren technischen Entscheidungen bei.
Beispiel aus dem Mittelstand
Ein Team nutzt den Benchmark als eine von mehreren Prüfungen und bewertet zusätzlich interne Repositories unter kontrollierten Bedingungen.
Grenzen und Fallstricke
- Benchmarkwerte ohne genaue Variante, Repository-Snapshot, Toolzugang und Auswertungsprotokoll vergleichen oder bestandene Tests mit vollständiger funktionaler Korrektheit gleichsetzen.
Entstehung & Geschichte
Jimenez und Mitautoren veröffentlichten SWE-bench 2023; Varianten wie Verified präzisierten Testfälle und Bewertung.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Team nutzt den Benchmark als eine von mehreren Prüfungen und bewertet zusätzlich interne Repositories unter kontrollierten Bedingungen.
Häufige Fragen
Was bedeutet SWE-bench?
SWE-bench ist eine Benchmarkfamilie, die Systeme anhand ausgewählter realer GitHub-Issues und zugehöriger Repository-Zustände darauf prüft, testbestehende Codeänderungen zu erzeugen. Welche Fehler sollte man vermeiden? Benchmarkwerte ohne genaue Variante, Repository-Snapshot, Toolzugang und Auswertungsprotokoll vergleichen oder bestandene Tests mit vollständiger funktionaler Korrektheit gleichsetzen.
Quellen
- SWE-bench: Can Language Models Resolve Real-World GitHub Issues? · Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: