Lion-Optimierer
Definition
Lion ist ein 2023 durch algorithmische Suche entdeckter Optimierer, der Momentum verfolgt und Updates im Wesentlichen über deren Vorzeichen steuert.
Er benötigt weniger Optimizer-State als Adam, weil kein zweiter Moment gespeichert wird. Die Autoren berichten Vorteile in mehreren Workloads, aber nicht universell.
Einfach erklärt
Wie einen Optimierer zu nutzen, der Richtung stark über das Vorzeichen steuert und weniger Zusatzspeicher braucht.
Warum das im Alltag wichtig ist
Relevant für eigenes Deep-Learning-Training, nicht für normale Modellnutzung.
Beispiel aus dem Mittelstand
Ein Forschungsteam vergleicht Lion und AdamW unter identischen Lernraten-Sweeps.
Grenzen und Fallstricke
- Paper-Benchmarks als allgemeine Überlegenheit darstellen; Adam-Lernraten direkt übernehmen; Weight Decay nicht neu abstimmen.
Entstehung & Geschichte
Chen et al. veröffentlichten Lion 2023 als Ergebnis symbolischer Optimierer-Suche.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Nur bei eigenem Training mit sauberem Hyperparametervergleich einsetzen.
Häufige Fragen
Ist Lion ein Modell?
Nein, ein Optimierer. Braucht Lion dieselbe Lernrate wie Adam? Typischerweise nicht.
Quellen
- Symbolic Discovery of Optimization Algorithms · Chen et al. (2023), Symbolic Discovery of Optimization Algorithms
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: