Gradientenzentrierung
Definition
Gradientenzentrierung verändert die beim Modelltraining berechneten Gradienten, indem ihr Mittelwert abgezogen wird.
Gradientenzentrierung ist ein Optimierungsverfahren für neuronale Netze. Es setzt direkt an den Gradienten an, also den berechneten Änderungsrichtungen für Modellgewichte. Die Gradientenvektoren werden so zentriert, dass ihr Mittelwert null beträgt.
Einfach erklärt
Wie eine Gruppe von Wegweisern, deren gemeinsame Verschiebung du entfernst, um ihre Unterschiede zu betrachten. Der Vergleich erklärt nur das Zentrieren; ein Trainingsgradient ist keine echte Wegbeschreibung.
Warum das im Alltag wichtig ist
Für eigene Trainingsversuche ist relevant, an welcher Stelle eine Optimierung eingreift. Die Arbeit unterscheidet die Bearbeitung von Gradienten ausdrücklich von Verfahren auf Aktivierungen oder Gewichten.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Ein Forschungsteam vergleicht beim Training eines Bildklassifikators dieselbe Optimierung mit und ohne Gradientenzentrierung.
Grenzen und Fallstricke
- Gradientenzentrierung ist keine bloße Umbenennung von Batch-Normalisierung oder Gewichtsstandardisierung. Die zitierte Arbeit setzt an einer anderen Größe an. Ihre Versuchsergebnisse sind keine allgemeine Verbesserungsgarantie für jedes Netz.
Entstehung & Geschichte
Yong, Huang, Hua und Zhang reichten die zitierte Erstfassung am 3. April 2020 ein.
Anwendung im Mittelstand
- Denkbare Anwendungen sind kontrollierte Trainingsvergleiche und Versuche zur Anpassung bereits trainierter neuronaler Netze.
Häufige Fragen
Werden dabei direkt die Eingabedaten zentriert?
Das beschriebene Verfahren arbeitet an den Gradienten.
Kann es in vorhandene Optimierungsverfahren eingebunden werden?
Die Arbeit beschreibt die Einbindung in gradientenbasierte Optimierer und Versuche zur Feinabstimmung.
Quellen
- Gradient Centralization: A New Optimization Technique for Deep Neural Networks · Yong et al. (2020): Gradient Centralization: A New Optimization Technique for Deep Neural Networks
Redaktionell geprüft am: