LARS-Optimierer

KI-Grundlagen & ModelleLARS, Layer-wise Adaptive Rate Scaling

Lesezeit: 2 Min.Redaktionell geprüft am: 27. Oktober 2026

Definition

LARS ist ein Optimierungsverfahren für sehr große Batchgrößen, das Lernraten schichtweise an Parameter- und Gradientennormen anpasst.

Es wurde entwickelt, um Training großer Bildmodelle mit stark erhöhten Batchgrößen zu stabilisieren. Nutzen hängt vom Workload ab.

Wie jeder Schicht eine eigene Skalierung der Schrittweite zu geben.

Relevant primär für großskaliges verteiltes Training.

Ein Forschungsteam vergleicht Momentum-SGD und LARS bei identischem Batch- und Compute-Budget.

Ergebnisse von ResNet auf andere Modelle übertragen; Batchgröße ohne Generalisierungsprüfung maximieren.

You et al. veröffentlichten LARS 2017/2018 im Kontext von ImageNet-Training mit großen Batches.

Mögliche Anwendung im Mittelstand: Nur bei eigenem großskaligem Training mit reproduzierbaren Benchmarks einsetzen.

Nein. Ist es immer besser als SGD? Nein.

Large Batch Training of Convolutional Networks · You et al. (2017), Large Batch Training of Convolutional Networks

Quellen geprüft am 10.10.2026.

Redaktionell geprüft am: 27. Oktober 2026

Auf dieser Seite

Nächster Schritt