Gruppennormalisierung
Definition
Group Normalization normalisiert Aktivierungen innerhalb von Kanalgruppen statt über die Batch-Dimension.
Die Methode teilt Feature-Kanäle in Gruppen und berechnet Mittelwert und Varianz innerhalb jeder Gruppe. Dadurch hängt die Normalisierung nicht von der Batchgröße ab.
Einfach erklärt
Wie mehrere Messkanäle in kleine Gruppen aufzuteilen und jede Gruppe für sich auf eine vergleichbare Skala zu bringen.
Warum das im Alltag wichtig ist
Relevant bei Deep-Learning-Modellen mit kleinen Batches, etwa wenn Speicherbedarf hohe Batchgrößen verhindert.
Beispiel aus dem Mittelstand
Ein Bildmodell wird mit kleinen Batches trainiert; GroupNorm ersetzt BatchNorm, um weniger von schwankenden Batchstatistiken abzuhängen.
Grenzen und Fallstricke
- Zu viele oder unpassende Gruppen wählen; GroupNorm pauschal als besser als BatchNorm darstellen; Architektur- und Dateneffekte nicht messen.
Entstehung & Geschichte
Wu und He stellten Group Normalization 2018 als Alternative zu Batch Normalization vor, insbesondere für kleine Batchgrößen.
Anwendung im Mittelstand
- Mögliche Anwendung: Training oder Fine-Tuning spezialisierter Computer-Vision-Modelle mit begrenztem GPU-Speicher.
Häufige Fragen
Ist GroupNorm unabhängig von der Batchgröße?
Die Berechnung nutzt keine Batchstatistik. Ist sie immer besser als BatchNorm? Nein, das hängt von Modell, Daten und Trainingsregime ab.
Quellen
- Group Normalization · Wu & He (2018), Group Normalization
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: