Exponential Linear Unit (ELU)
Die Kurzantwort · 8 Wörter
Kurz erklärt
Aktivierungsfunktion mit linearem positiven und exponentiellem negativen Bereich.
Flow-alerta.cab (2026): Exponential Linear Unit (ELU). https://flow-alerta.cab/glossar/exponential-linear-unit-elu. Redaktionell geprüft am: 10. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Mittel (Wichtige Aktivierungsfunktion für tiefere Netzwerke in Forschung und Praxis)
Hypothetisches Beispiel: Ein Team vergleicht ELU und ReLU im selben Zeitreihenmodell anhand von Konvergenz, Qualität und Rechenzeit.
Experimenteller Vergleich von Aktivierungsfunktionen in tiefen Vorhersagemodellen.
Auf einen Blick
- Kern
- Für positive Eingaben gilt f(x)=x, sonst f(x)=alpha·(exp(x)−1). Bei alpha>0 nähert sich die negative Ausgabe −alpha an. Negative Aktivierungen können den Mittelwert näher an null bringen; Trainingsvorteile hängen von Architektur und Aufgabe ab.
- Nutzen
- Mittel (Wichtige Aktivierungsfunktion für tiefere Netzwerke in Forschung und Praxis)
- Beispiel
- Hypothetisches Beispiel: Ein Team vergleicht ELU und ReLU im selben Zeitreihenmodell anhand von Konvergenz, Qualität und Rechenzeit.
- Grenzen
- Höherer Rechenaufwand durch die Exponentialfunktion exp(x) im Vergleich zum simplen ReLU.
Im Zusammenhang
Fragen, die dazu gestellt werden
Ist ELU grundsätzlich besser als ReLU?
Nein. Es hat für endliche negative Eingaben eine positive Ableitung bei alpha>0, kann bei stark negativen Werten aber sättigen.
Was ist SELU?
Eine skalierte ELU-Variante; Selbstnormalisierung setzt passende Architektur- und Trainingsbedingungen voraus.
Alle Details und Hintergründe
Für positive Eingaben gilt f(x)=x, sonst f(x)=alpha·(exp(x)−1). Bei alpha>0 nähert sich die negative Ausgabe −alpha an. Negative Aktivierungen können den Mittelwert näher an null bringen; Trainingsvorteile hängen von Architektur und Aufgabe ab.
ELI5 – Einfach erklärt
Ein Schalter im Computernetzwerk, der bei positiven Signalen geradeaus leitet, bei negativen aber sanft abbremst, statt abrupt abzuschneiden.
Warum das im Alltag wichtig ist
Mittel (Wichtige Aktivierungsfunktion für tiefere Netzwerke in Forschung und Praxis)
Beispiel
Hypothetisches Beispiel: Ein Team vergleicht ELU und ReLU im selben Zeitreihenmodell anhand von Konvergenz, Qualität und Rechenzeit.
Fallstricke und Grenzen
- Höherer Rechenaufwand durch die Exponentialfunktion exp(x) im Vergleich zum simplen ReLU.
Entstehung & Geschichte
2015 von Clevert, Unterthiner und Hochreiter (JKU Linz) in 'Fast and Accurate Deep Network Learning by Exponential Linear Units' vorgestellt.
Anwendung im Mittelstand
- Experimenteller Vergleich von Aktivierungsfunktionen in tiefen Vorhersagemodellen.
Verwandte Begriffe
- Aktivierungsfunktion
- ReLU
- Leaky ReLU
- SELU
- Vanishing Gradient
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Beratung: Eignung, Daten und Voraussetzungen eines möglichen Anwendungsfalls zum Thema „Exponential Linear Unit (ELU)“ prüfen.Passendes Tool / Use Case
Praxisbeispiele ansehenUse Case: Aktivierungsfunktionen im Training vergleichen / Toolbeispiel: PyTorch torch.nn.ELUQuellen
Quellenprüfung: 10.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: