Adafactor
Die Kurzantwort · 12 Wörter
Kurz erklärt
Adafactor ist ein speichereffizienter adaptiver Optimierungsalgorithmus für das Training großer neuronaler Netze.
Flow-alerta.cab (2026): Adafactor. https://flow-alerta.cab/glossar/adafactor. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Relevant beim Training sehr großer Modelle, wenn Optimizer-Zustände viel Speicher belegen. Für gewöhnliche KI-Anwendungen, die fertige Modelle per API nutzen, spielt Adafactor dagegen meist keine direkte Rolle.
Mögliches Beispiel: Beim Training eines großen Transformer-Modells reduziert Adafactor den Speicher für die Schätzung zweiter Momente, sodass mehr Modellparameter oder größere Batches in den verfügbaren Beschleunigerspeicher passen können.
Mögliche Anwendungen: vor allem für Unternehmen relevant, die Modelle selbst trainieren oder feinabstimmen und dabei GPU-/TPU-Speicher sowie Trainingskosten optimieren müssen. Für typische Mittelstandsprojekte mit API-Modellen ist der Nutzen eher indirekt.
Auf einen Blick
- Kern
- Adafactor skaliert Parameter-Updates anhand geschätzter zweiter Gradientenmomente. Bei Matrixparametern faktorisiert er diese Schätzung über Zeilen und Spalten und reduziert dadurch den zusätzlichen Speicherbedarf gegenüber Optimierern mit vollständigen Momentenschätzungen.
- Nutzen
- Relevant beim Training sehr großer Modelle, wenn Optimizer-Zustände viel Speicher belegen. Für gewöhnliche KI-Anwendungen, die fertige Modelle per API nutzen, spielt Adafactor dagegen meist keine direkte Rolle.
- Beispiel
- Mögliches Beispiel: Beim Training eines großen Transformer-Modells reduziert Adafactor den Speicher für die Schätzung zweiter Momente, sodass mehr Modellparameter oder größere Batches in den verfügbaren Beschleunigerspeicher passen können.
- Grenzen
- Speichervorteil mit automatisch besserer Modellqualität gleichsetzen; Hyperparameter ungeprüft von Adam übernehmen; relative Schrittweiten und Update-Clipping ignorieren; den Optimizer als Ersatz für saubere Trainings- und Evaluationsverfahren betrachten.
Im Zusammenhang
Adam-Optimierer
Adam ist ein Optimierungsalgorithmus zum Trainieren neuronaler Netze, der adaptive Lernraten aus Momentenschätzungen der Gradienten ableitet.
AdamW
AdamW ist eine Variante von Adam, bei der Weight Decay vom gradientenbasierten Optimierungsschritt entkoppelt wird.
AdaGrad
AdaGrad ist ein adaptives Gradientenverfahren, das die Lernrate für einzelne Parameter anhand früherer Gradienten automatisch anpasst.
Fragen, die dazu gestellt werden
Ist Adafactor einfach Adam mit weniger Speicher?
Nein, die Verfahren unterscheiden sich unter anderem bei der Momentenschätzung und vorgeschlagenen Update-Regeln.
Ist Adafactor für Inferenz relevant?
Nein, primär für das Training bzw. Fine-Tuning.
Alle Details und Hintergründe
Adafactor skaliert Parameter-Updates anhand geschätzter zweiter Gradientenmomente. Bei Matrixparametern faktorisiert er diese Schätzung über Zeilen und Spalten und reduziert dadurch den zusätzlichen Speicherbedarf gegenüber Optimierern mit vollständigen Momentenschätzungen.
ELI5 – Einfach erklärt
Wie ein platzsparender Notizblock: Für eine große Zahlenmatrix werden Statistiken über Zeilen und Spalten gespeichert, statt jede Zahl einzeln zu protokollieren.
Warum das im Alltag wichtig ist
Relevant beim Training sehr großer Modelle, wenn Optimizer-Zustände viel Speicher belegen. Für gewöhnliche KI-Anwendungen, die fertige Modelle per API nutzen, spielt Adafactor dagegen meist keine direkte Rolle.
Beispiel
Mögliches Beispiel: Beim Training eines großen Transformer-Modells reduziert Adafactor den Speicher für die Schätzung zweiter Momente, sodass mehr Modellparameter oder größere Batches in den verfügbaren Beschleunigerspeicher passen können.
Fallstricke und Grenzen
- Speichervorteil mit automatisch besserer Modellqualität gleichsetzen; Hyperparameter ungeprüft von Adam übernehmen; relative Schrittweiten und Update-Clipping ignorieren; den Optimizer als Ersatz für saubere Trainings- und Evaluationsverfahren betrachten.
Entstehung & Geschichte
Noam Shazeer und Mitchell Stern stellten Adafactor 2018 in „Adafactor: Adaptive Learning Rates with Sublinear Memory Cost“ vor. Ziel war insbesondere, den Speicherbedarf adaptiver Optimierung bei großen Gewichtsmatrizen zu reduzieren.
Anwendung im Mittelstand
- Mögliche Anwendungen: vor allem für Unternehmen relevant, die Modelle selbst trainieren oder feinabstimmen und dabei GPU-/TPU-Speicher sowie Trainingskosten optimieren müssen. Für typische Mittelstandsprojekte mit API-Modellen ist der Nutzen eher indirekt.
Verwandte Begriffe
- Adam
- AdamW
- AdaGrad
- Optimizer
- Gradient Descent
- Transformer
- Fine-Tuning
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Potenzialanalyse & Fahrplan: Aufgaben und Daten vor einem möglichen KI-Einsatz klären.Passendes Tool / Use Case
Praxisbeispiele ansehenPyTorch Adafactor; möglicher Einsatz: speichereffizientes Training oder Fine-Tuning großer Gewichtsmatrizen.Quellen
- arxiv.orgShazeer & Stern (2018), Adafactor
- docs.pytorch.orgPyTorch, Adafactor
Quellenprüfung: 09.10.2026. Anwendungsbeispiele sind mögliche Szenarien, keine behaupteten Kundenfälle.
Redaktionell geprüft am: