Stochastischer Gradientenabstieg (SGD)
Definition
SGD aktualisiert ein Modell anhand zufällig gewählter Beispiele oder kleiner Beispielgruppen.
Stochastischer Gradientenabstieg schätzt den Gradienten der Zielfunktion mit zufällig gezogenen Beispielen oder Mini-Batches und aktualisiert damit die Modellparameter. Der übliche Mini-Batch-SGD ist eine praktische Variante.
Einfach erklärt
Das Modell verbessert sich Schritt für Schritt an wechselnden kleinen Portionen von Übungsdaten, statt jedes Mal den gesamten Bestand auszuwerten.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Klassifikator aktualisiert seine Gewichte nach jedem Mini-Batch und überwacht Verlust sowie Validierungsfehler.
Grenzen und Fallstricke
- Daten nicht ausreichend mischen, Lernrate und Batchgröße ungeprüft koppeln, verrauschte Trainingskurven als Fehler deuten oder Trainings- und Evaluationsdaten vermischen.
Entstehung & Geschichte
Stochastische Approximation wurde 1951 formalisiert; SGD wurde zum Grundverfahren für große statistische und neuronale Modelle.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Klassifikator aktualisiert seine Gewichte nach jedem Mini-Batch und überwacht Verlust sowie Validierungsfehler.
Häufige Fragen
Was bedeutet Stochastischer Gradientenabstieg (SGD)?
Stochastischer Gradientenabstieg schätzt den Gradienten der Zielfunktion mit zufällig gezogenen Beispielen oder Mini-Batches und aktualisiert damit die Modellparameter. Der übliche Mini-Batch-SGD ist eine praktische Variante. Welche Fehler sollte man vermeiden? Daten nicht ausreichend mischen, Lernrate und Batchgröße ungeprüft koppeln, verrauschte Trainingskurven als Fehler deuten oder Trainings- und Evaluationsdaten vermischen.
Quellen
- A Stochastic Approximation Method · Robbins and Monro, A Stochastic Approximation Method
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: