Gradientenrauschen
Definition
Gradientenrauschen bezeichnet Zufallsschwankungen in Trainingsgradienten; hier wird gezielt hinzugefügtes Rauschen erklärt.
Beim gezielten Hinzufügen von Gradientenrauschen wird der beim Training berechnete Gradient durch einen Zufallsterm verändert. Neelakantan und weitere Autoren untersuchen zeitabhängiges gaußsches Rauschen, dessen Varianz im Trainingsverlauf abnimmt. Der Eintrag bezieht sich auf dieses Verfahren.
Einfach erklärt
Wie kleine zufällige Richtungsänderungen bei einer Suche, die dich aus einer ungünstigen Spur bringen können. Ein neuronales Netz sucht aber in einem mathematischen Parameterraum und wandert nicht durch eine Landschaft.
Warum das im Alltag wichtig ist
Bei eigenen Trainingsversuchen ist die Abgrenzung zwischen eingebauter Zufälligkeit und zusätzlich eingesetztem Rauschen relevant. Die Arbeit behandelt das zusätzliche Rauschen als veränderbaren Teil des Trainings.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Ein KI-Team vergleicht mehrere Trainingsläufe eines kleinen Netzes mit und ohne zusätzliches Gradientenrauschen.
Grenzen und Fallstricke
- Zusätzliches Rauschen verbessert nicht jeden Aufbau. Die Arbeit berichtet auch Versuche ohne Verbesserung bei geeigneter Initialisierung oder anderen Einstellungen. Eine auffällige Einzelverbesserung ist deshalb kein allgemeines Wirkungsversprechen.
Entstehung & Geschichte
Die zitierte Erstfassung von Neelakantan und weiteren Autoren wurde am 21. November 2015 eingereicht. Sie verweist auf ältere verwandte Verfahren; das Datum gilt nicht als Ursprung sämtlichen Gradientenrauschens.
Anwendung im Mittelstand
- Denkbare Anwendungen sind Trainingsstudien zu Initialisierung, Robustheit und kontrolliert variierten Optimierungseinstellungen.
Häufige Fragen
Bleibt die Rauschstärke in der beschriebenen Methode konstant?
Nein; die Arbeit untersucht einen zeitabhängigen Verlauf mit sinkender Varianz.
Ist zusätzliches Rauschen identisch mit der Zufälligkeit des stochastischen Gradientenabstiegs?
Die Arbeit unterscheidet beide ausdrücklich.
Quellen
- Adding Gradient Noise Improves Learning for Very Deep Networks · Neelakantan et al. (2015): Adding Gradient Noise Improves Learning for Very Deep Networks
Redaktionell geprüft am: