L2-Regularisierung
Definition
L2-Regularisierung bestraft große Parameter über die Summe ihrer Quadrate.
Sie zieht Gewichte typischerweise kontinuierlich Richtung null, ohne sie meist exakt auf null zu setzen. Bei Optimierern ist „Weight Decay“ nicht in jedem Fall mathematisch identisch mit L2-Regularisierung.
Einfach erklärt
Wie große Stellschrauben stärker zu bestrafen, damit kein einzelnes Gewicht unnötig extrem wird.
Warum das im Alltag wichtig ist
Relevant zur Kontrolle von Overfitting und Stabilisierung vieler Modelle.
Beispiel aus dem Mittelstand
Eine Ridge-Regression reduziert extreme Koeffizienten bei korrelierten Merkmalen.
Grenzen und Fallstricke
- L2 und Weight Decay pauschal gleichsetzen; Regularisierung über Testset wählen; Featureskala ignorieren.
Entstehung & Geschichte
Hoerl und Kennard führten Ridge Regression 1970 als Stabilisierung bei Multikollinearität ein.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Baselines mit und ohne L2 auf Validierungsdaten vergleichen.
Häufige Fragen
Setzt L2 Gewichte auf exakt null?
Typischerweise nicht. Ist Weight Decay immer L2? Nein, beim AdamW wurde die Entkopplung gerade thematisiert.
Quellen
- Ridge Regression · Hoerl & Kennard (1970), Ridge Regression
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: