Lernrate
Definition
Die Lernrate bestimmt, wie groß Optimierungsschritte bei der Anpassung von Modellparametern ausfallen.
Zu hohe Werte können Training instabil machen; zu niedrige verlangsamen es oder führen zu ungünstiger Optimierung. Effektive Schrittweite hängt auch vom Optimierer ab.
Einfach erklärt
Wie die Größe jedes Lernschritts einzustellen.
Warum das im Alltag wichtig ist
Eine der wichtigsten Hyperparameter für neuronales Training und Fine-Tuning.
Beispiel aus dem Mittelstand
Ein Fine-Tuning vergleicht mehrere Lernraten auf einem festen Validierungsset.
Grenzen und Fallstricke
- Testset zum Tuning nutzen; Lernrate ohne Batchgröße/Optimierer betrachten; aus einem Lauf schließen.
Entstehung & Geschichte
Gradientenbasierte Optimierung nutzt seit langem eine Schrittweite; in Deep Learning ist die Lernrate ein zentraler Hyperparameter.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Vor eigenem Fine-Tuning einen sinnvollen Bereich testen und Trainingskurven beobachten.
Häufige Fragen
Ist kleinere Lernrate immer sicherer?
Nein, sie kann ineffizient oder suboptimal sein. Wird sie gelernt? In Standardtraining meist vorgegeben oder gescheduled.
Quellen
- Deep Learning, Optimization · Goodfellow et al., Deep Learning, Optimization
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: