Zyklische Lernraten (CLR)
Die Kurzantwort · 14 Wörter
Kurz erklärt
Trainingsverfahren, bei dem die Lernrate wiederholt zwischen festgelegten unteren und oberen Grenzen verändert wird.
Flow-alerta.cab (2026): Zyklische Lernraten (CLR). https://flow-alerta.cab/glossar/cyclical-learning-rates-clr. Redaktionell geprüft am: 10. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Kann Konvergenz und Parametersuche bei neuronalen Netzen unterstützen. Vorteile hängen von Modell, Daten, Optimierer und gewählten Grenzen ab und sind nicht garantiert.
Ein Team führt einen Learning-Rate-Range-Test durch, trainiert anschließend mit triangular2-CLR und vergleicht Zeit, Stabilität und Testleistung mit einem monotonen Schedule.
Bei eigenen Deep-Learning-Projekten als experimentellen Schedule testen; Grenzen, Zyklusform, Seeds und Vergleichsbaseline dokumentieren.
Auf einen Blick
- Kern
- Statt konstant zu bleiben oder nur zu sinken, folgt die Lernrate einem Zyklus, etwa dreieckig oder in Varianten mit abnehmender Amplitude. Grenzen, Zykluslänge und Form müssen gewählt oder mit einem Learning-Rate-Range-Test abgeschätzt werden.
- Nutzen
- Kann Konvergenz und Parametersuche bei neuronalen Netzen unterstützen. Vorteile hängen von Modell, Daten, Optimierer und gewählten Grenzen ab und sind nicht garantiert.
- Beispiel
- Ein Team führt einen Learning-Rate-Range-Test durch, trainiert anschließend mit triangular2-CLR und vergleicht Zeit, Stabilität und Testleistung mit einem monotonen Schedule.
- Grenzen
- CLR als automatisches Tuning ohne Entscheidungen darstellen; ungeeignete Grenzen wählen; Range-Test und zyklisches Training gleichsetzen; One-Cycle Policy, Cosine Annealing und Warm Restarts vermischen; nur Trainingsverlust statt Validierungsleistung betrachten.
Im Zusammenhang
Fragen, die dazu gestellt werden
Muss die Lernrate immer sinken? Nein. Entfernt CLR jedes Tuning? Nein. Ist CLR dasselbe wie One-Cycle? Nein. Wie werden Grenzen gewählt? Häufig mit Vorwissen oder einem Learning-Rate-Range-Test.
Alle Details und Hintergründe
Statt konstant zu bleiben oder nur zu sinken, folgt die Lernrate einem Zyklus, etwa dreieckig oder in Varianten mit abnehmender Amplitude. Grenzen, Zykluslänge und Form müssen gewählt oder mit einem Learning-Rate-Range-Test abgeschätzt werden.
ELI5 – Einfach erklärt
Beim Training wird die Schrittweite regelmäßig größer und wieder kleiner, damit das Modell unterschiedlich große Lernschritte ausprobiert.
Warum das im Alltag wichtig ist
Kann Konvergenz und Parametersuche bei neuronalen Netzen unterstützen. Vorteile hängen von Modell, Daten, Optimierer und gewählten Grenzen ab und sind nicht garantiert.
Beispiel
Ein Team führt einen Learning-Rate-Range-Test durch, trainiert anschließend mit triangular2-CLR und vergleicht Zeit, Stabilität und Testleistung mit einem monotonen Schedule.
Fallstricke und Grenzen
- CLR als automatisches Tuning ohne Entscheidungen darstellen; ungeeignete Grenzen wählen; Range-Test und zyklisches Training gleichsetzen; One-Cycle Policy, Cosine Annealing und Warm Restarts vermischen; nur Trainingsverlust statt Validierungsleistung betrachten.
Entstehung & Geschichte
Leslie N. Smith veröffentlichte den Ansatz 2015 als Preprint und 2017 auf der WACV. Die Originalarbeit berichtete reduzierten Aufwand bei der Lernratensuche, aber keine allgemeine Erfolgsgarantie.
Anwendung im Mittelstand
- Bei eigenen Deep-Learning-Projekten als experimentellen Schedule testen; Grenzen, Zyklusform, Seeds und Vergleichsbaseline dokumentieren.
Verwandte Begriffe
- Lernrate
- Learning-Rate Schedule
- One-Cycle Policy
- Cosine Annealing
- Warm Restarts
- Optimierer
- Range Test
Passende Flow-alerta-Leistung
SchulungenKI-Beratung – Trainingsexperimente reproduzierbar planen und bewertenPassendes Tool / Use Case
Praxisbeispiele ansehenTools: PyTorch CyclicLR oder Keras LearningRateScheduler; Use Case: Vergleich zyklischer und monotoner LernratenpläneQuellen
Quellenprüfung: 10.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: