Schichtnormalisierung
Definition
Schichtnormalisierung normalisiert Aktivierungen innerhalb eines einzelnen Beispiels über definierte Merkmalsdimensionen.
Anders als Batch Normalization benötigt LayerNorm keine Batchstatistik und eignet sich deshalb gut für Sequenzmodelle und Transformer.
Einfach erklärt
Wie die Werte innerhalb eines einzelnen Datenpunkts auf eine gemeinsame Skala zu bringen.
Warum das im Alltag wichtig ist
Zentral für Transformer und viele moderne neuronale Netze.
Beispiel aus dem Mittelstand
Ein Transformer-Block nutzt LayerNorm vor oder nach Attention und Feedforward-Schicht.
Grenzen und Fallstricke
- LayerNorm mit BatchNorm gleichsetzen; Normalisierungsachsen falsch wählen; Architekturvarianten ungeprüft austauschen.
Entstehung & Geschichte
Ba, Kiros und Hinton stellten Layer Normalization 2016 vor.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Architekturen verstehen und reproduzierbar implementieren.
Häufige Fragen
Ist LayerNorm batchabhängig?
Nein. Ist sie immer vor Attention? Das hängt von der Architektur ab.
Quellen
- Layer Normalization · Ba et al. (2016), Layer Normalization
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: