Regressionstest für Prompts
Definition
Nach Änderungen unerwünschte Verschlechterungen erkennen.
Regressionstests für Prompts prüfen, ob bekannte Aufgaben nach Änderungen an Prompt, Modell oder Kontext weiterhin die festgelegten Anforderungen erfüllen.
Einfach erklärt
Nach einem Umbau wird geprüft, ob die bisherigen Türen noch funktionieren.
Warum das im Alltag wichtig ist
Verbesserungen für einen Fall sollen andere wichtige Fälle nicht unbemerkt verschlechtern.
Beispiel aus dem Mittelstand
Ein fiktives Team prüft nach jeder Vorlagenänderung weiterhin korrekte Eskalationen bei Reklamationen.
Grenzen und Fallstricke
- Unrepräsentative Tests übersehen Probleme; zufällige Modellausgaben erfordern geeignete Bewertungsregeln.
Entstehung & Geschichte
Das Verfahren übernimmt Regressionstests aus der Softwareentwicklung.
Anwendung im Mittelstand
- Reale Fehlerfälle anonymisiert als dauerhafte Tests aufnehmen.
Häufige Fragen
Muss die Antwort wortgleich sein?
Nein, entscheidend sind überprüfbare Anforderungen.
Quellen
Redaktionell geprüft am: