Low-Rank Adaptation (LoRA)
Definition
LoRA passt große Modelle an, indem kleine niedrig-rangige Matrizen trainiert werden, während die ursprünglichen Modellgewichte eingefroren bleiben.
Die Methode reduziert trainierbare Parameter und häufig Speicherbedarf gegenüber Full Fine-Tuning. Qualität hängt von Rank, Zielmodulen, Daten und Aufgabe ab.
Einfach erklärt
Wie ein großes Modell mit kleinen Zusatzmodulen anzupassen statt alle Gewichte umzubauen.
Warum das im Alltag wichtig ist
Relevant für kostengünstigeres Fine-Tuning von Open-Weight-Modellen.
Beispiel aus dem Mittelstand
Ein Unternehmen trainiert LoRA-Adapter für eine klar begrenzte Textklassifikationsdomäne und vergleicht gegen Prompting.
Grenzen und Fallstricke
- LoRA nicht automatisch mit besserer Qualität oder RAG gleichsetzen; Lizenz und Datenrechte prüfen. Basisversion und Adapter müssen zusammenpassen. Rank und Trainingsdaten anhand unabhängiger Evaluation wählen; keine Testdaten ins Training übernehmen.
Entstehung & Geschichte
Hu et al. veröffentlichten LoRA 2021.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Nur nutzen, wenn Prompting/RAG nicht genügt und genügend hochwertige Trainingsdaten vorhanden sind.
Häufige Fragen
Verändert LoRA Basisgewichte?
Im klassischen Ansatz bleiben sie eingefroren. Ist LoRA ohne Training? Nein.
Quellen
- LoRA · Hu et al. (2021), LoRA
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: