Prompt-Tuning
Definition
Lernbare Promptvektoren an eine Aufgabe anpassen.
Prompt-Tuning trainiert zusätzliche kontinuierliche Eingabevektoren für eine Aufgabe, während die Gewichte des zugrunde liegenden Modells typischerweise unverändert bleiben.
Einfach erklärt
Ein kleiner lernbarer Vorspann lenkt ein vorhandenes Modell auf eine Aufgabe.
Warum das im Alltag wichtig ist
Aufgabenspezifische Anpassung kann mit weniger trainierbaren Parametern als vollständiges Fine-Tuning erfolgen.
Beispiel aus dem Mittelstand
Ein fiktives Forschungsteam trainiert einen Soft Prompt für eine feste Klassifikationsaufgabe.
Grenzen und Fallstricke
- Gelernte Vektoren sind keine gewöhnlichen Textanweisungen und nicht beliebig zwischen Modellen übertragbar.
Entstehung & Geschichte
Das Verfahren gehört zur parameterarmen Anpassung vortrainierter Modelle.
Anwendung im Mittelstand
- Nur bei ausreichenden Beispielen und messbarem Vorteil gegenüber einfachen Prompts erwägen.
Häufige Fragen
Ist das manuelles Umschreiben?
Nein, die zusätzlichen Vektoren werden trainiert.
Quellen
Redaktionell geprüft am: