Lernratenfinder
Definition
Ein Lernratenfinder erhöht die Lernrate während eines kurzen Trainingslaufs und beobachtet, bei welchen Werten der Loss sinnvoll fällt oder instabil wird.
Das Verfahren liefert einen Startbereich für die Lernrate, ersetzt aber keine vollständige Validierung. Implementierungen unterscheiden sich.
Einfach erklärt
Wie den Geschwindigkeitsregler einmal systematisch hochzudrehen, um einen brauchbaren Bereich zu finden.
Warum das im Alltag wichtig ist
Relevant für effizienteres Tuning neuronaler Netze.
Beispiel aus dem Mittelstand
Vor einem Fine-Tuning wird ein kurzer Range Test durchgeführt und anschließend die gewählte Lernrate validiert.
Grenzen und Fallstricke
- Finder-Ergebnis blind übernehmen; andere Batchgröße nutzen; Lauf zu lange fortsetzen; Testset verwenden.
Entstehung & Geschichte
Leslie Smith beschrieb den LR Range Test im Zusammenhang mit Cyclical Learning Rates 2015/2017.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Trainingskonfiguration schneller eingrenzen und anschließend sauber validieren.
Häufige Fragen
Ist der gefundene Wert automatisch optimal?
Nein. Muss der Test mit ähnlicher Trainingskonfiguration laufen? Ja.
Quellen
- Cyclical Learning Rates · Smith (2017), Cyclical Learning Rates
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: