Instruktionsbasiertes Feintraining
Definition
Instruction Tuning passt ein vortrainiertes Sprachmodell mit Aufgaben an, die als natürliche Anweisungen formuliert sind.
Das Modell wird auf vielen Instruktions-/Antwortbeispielen feintrainiert, damit es neue Anweisungen besser befolgt. Es ist nicht dasselbe wie Prompting, weil Modellgewichte verändert werden.
Einfach erklärt
Wie ein Sprachmodell mit vielen unterschiedlichen Arbeitsaufträgen zu trainieren, damit es neue Arbeitsaufträge besser versteht.
Warum das im Alltag wichtig ist
Grundlegend für moderne Assistenzmodelle und wichtig zur Abgrenzung von In-Context Learning und Fine-Tuning.
Beispiel aus dem Mittelstand
Ein Modell wird auf internen, freigegebenen Aufgabenformaten feintrainiert, wenn Prompting allein nicht stabil genug ist und genügend Trainingsdaten vorliegen.
Grenzen und Fallstricke
- Instruction Tuning mit Prompt Engineering verwechseln; kleine Datensätze überschätzen; Rechte an Trainingsdaten ignorieren; Testdaten in Training übernehmen.
Entstehung & Geschichte
Wei et al. zeigten 2021 mit FLAN, dass Finetuning auf vielen natürlich beschriebenen Aufgaben die Zero-Shot-Leistung auf unbekannten Aufgaben verbessern kann.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand bei ausreichendem Datenvolumen, klarer Wirtschaftlichkeit und geeignetem Modellzugang. Prompting, RAG und Fine-Tuning sollten anhand von Datenbedarf, Qualität und Gesamtkosten verglichen werden.
Häufige Fragen
Werden Gewichte verändert?
Ja. Ist Instruction Tuning dasselbe wie RLHF? Nein, es ist typischerweise überwachtes Fine-Tuning auf Instruktionsdaten.
Quellen
- Finetuned Language Models Are Zero-Shot Learners · Wei et al. (2021), Finetuned Language Models Are Zero-Shot Learners
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: