SwiGLU
Definition
SwiGLU verbindet zwei berechnete Projektionen durch eine Swish-gesteuerte Multiplikation.
SwiGLU ist eine gegatete Feedforward-Aktivierung, die eine Swish-gewichtete Projektion mit einer zweiten linearen Projektion multipliziert.
Einfach erklärt
Im Modell werden dieselben Eingaben auf zwei Wegen umgerechnet. Ein Weg wirkt dabei wie ein Regler dafür, wie stark Werte des anderen Wegs weitergegeben werden.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Modellteam testet SwiGLU gegen ReLU bei vergleichbarem Parameter- und Rechenbudget.
Grenzen und Fallstricke
- Architekturvergleiche ohne angepasste Breite oder Trainingsparameter sind unfair; die Aktivierung allein erklärt keine Modellqualität.
Entstehung & Geschichte
Shazeer verglich 2020 GLU-Varianten für Transformer; SwiGLU wurde anschließend in mehreren großen Sprachmodellen eingesetzt.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Modellteam testet SwiGLU gegen ReLU bei vergleichbarem Parameter- und Rechenbudget.
Häufige Fragen
Was bedeutet SwiGLU?
SwiGLU ist eine gegatete Feedforward-Aktivierung, die eine Swish-gewichtete Projektion mit einer zweiten linearen Projektion multipliziert. Worauf sollte man achten? Architekturvergleiche ohne angepasste Breite oder Trainingsparameter sind unfair; die Aktivierung allein erklärt keine Modellqualität.
Quellen
- GLU Variants Improve Transformer · Shazeer, GLU Variants Improve Transformer
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: