Gewichtsabnahme (Weight Decay)
Definition
Weight Decay verkleinert Modellgewichte während der Optimierung und dient der Regularisierung.
Eine Regularisierung, die Parameter bei Optimierungsschritten zur Null hin verkleinert; bei SGD entspricht sie häufig L2-Regularisierung.
Einfach erklärt
Beim Lernen werden die Gewichtungszahlen des Modells etwas in Richtung null gezogen. So wird sehr großen Werten entgegengewirkt.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Team stimmt Weight Decay auf Validierungsdaten ab und schließt Bias- sowie Normparameter gezielt aus.
Grenzen und Fallstricke
- Bei adaptiven Optimierern ist gekoppelte L2-Strafe nicht identisch; zu starke Abnahme führt zu Unteranpassung.
Entstehung & Geschichte
Weight Decay ist seit frühen neuronalen Netzen verbreitet; AdamW entkoppelte sie 2017 vom adaptiven Gradienten.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Team stimmt Weight Decay auf Validierungsdaten ab und schließt Bias- sowie Normparameter gezielt aus.
Häufige Fragen
Was bedeutet Gewichtsabnahme (Weight Decay)?
Eine Regularisierung, die Parameter bei Optimierungsschritten zur Null hin verkleinert; bei SGD entspricht sie häufig L2-Regularisierung. Worauf sollte man achten? Bei adaptiven Optimierern ist gekoppelte L2-Strafe nicht identisch; zu starke Abnahme führt zu Unteranpassung.
Quellen
- Decoupled Weight Decay Regularization · Loshchilov and Hutter, Decoupled Weight Decay Regularization
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: