Leaky ReLU
Definition
Leaky ReLU ist eine Aktivierungsfunktion, die für negative Eingaben eine kleine lineare Steigung statt exakt null verwendet.
Sie soll das Problem dauerhaft inaktiver ReLU-Einheiten reduzieren. Der negative Steigungsparameter ist eine Modellentscheidung.
Einfach erklärt
Wie eine ReLU-Tür, die im negativen Bereich nicht ganz schließt.
Warum das im Alltag wichtig ist
Leaky ReLU ist eine Variante zur Aktivierung neuronaler Netze. Ihre Einordnung hilft beim Verständnis und bei der Abstimmung solcher Architekturen.
Beispiel aus dem Mittelstand
Ein Bildmodell vergleicht ReLU und Leaky ReLU bei sonst gleicher Architektur.
Grenzen und Fallstricke
- Leaky ReLU als generell besser behandeln; Steigung ungeprüft übernehmen.
Entstehung & Geschichte
Maas, Hannun und Ng untersuchten 2013 nicht sättigende Aktivierungen mit kleinem negativen Gradient.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Als Architekturvariante in kontrollierten Modellvergleichen prüfen.
Häufige Fragen
Was ist der Unterschied zu ReLU?
Negative Werte werden nicht vollständig auf null gesetzt.
Quellen
- Rectifier Nonlinearities Improve Neural Network Acoustic Models · Maas et al. (2013), Rectifier Nonlinearities Improve Neural Network Acoustic Models
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: