Destillation aus mehreren Lehrermodellen
Definition
Ein kleineres Modell lernt aus den Ausgaben mehrerer Lehrermodelle.
Die Trainingsziele kombinieren Wissen verschiedener Teacher, beispielsweise durch gemittelte Wahrscheinlichkeiten oder ausgewählte Antworten. Das Student-Modell soll nützliche Eigenschaften übernehmen.
Einfach erklärt
Ein Schüler lernt von mehreren Lehrkräften mit unterschiedlichen Stärken.
Warum das im Alltag wichtig ist
So kann Wissen eines Ensembles in ein einzelnes Modell übertragen werden.
Beispiel aus dem Mittelstand
Fiktiv: Zwei spezialisierte Klassifikatoren erzeugen Trainingsziele für ein gemeinsames kleines Modell.
Grenzen und Fallstricke
- Widersprüche und Fehler der Lehrermodelle können übertragen werden. Die Gewichtung ihrer Beiträge ist entscheidend.
Entstehung & Geschichte
Der Ansatz erweitert die Wissensdestillation und die Übertragung von Ensemblewissen.
Anwendung im Mittelstand
- KMU mit vielen wiederkehrenden Aufgaben können prüfen, ob ein kleines spezialisiertes Modell genügt.
Häufige Fragen
Wird der Schüler automatisch besser als alle Lehrer?
Nein, das ist keine zugesicherte Eigenschaft.
Quellen
- Distilling the Knowledge in a Neural Network — · Hinton et al.: Distilling the Knowledge in a Neural Network —
Redaktionell geprüft am: