Neuronaler Kollaps
Definition
Neuronaler Kollaps beschreibt ein geometrisches Muster in spät trainierten Klassifikatoren.
Ein bei überparametrisierten Klassifikatoren in der späten Trainingsphase beobachtetes Muster: Innerhalb einer Klasse schrumpft die Repräsentationsstreuung, Klassenmittel ordnen sich symmetrisch an und richten sich am linearen Klassifikator aus.
Einfach erklärt
Gelernte Darstellungen derselben Gruppe rücken eng zusammen, während sich die Gruppen regelmäßig anordnen.
Warum das im Alltag wichtig ist
Hilft, Modellqualität, Grenzen und technische Entscheidungen realistisch einzuordnen.
Beispiel aus dem Mittelstand
Bei nahezu null Trainingsfehler werden Streuung innerhalb der Klassen, Geometrie der Klassenmittel und Gewichte der letzten Schicht analysiert.
Grenzen und Fallstricke
- Neural Collapse mit Modell-, Modus- oder Repräsentationskollaps verwechseln oder aus dem empirischen Muster eine universelle Garantie für Generalisierung ableiten.
Entstehung & Geschichte
Papyan, Han und Donoho beschrieben Neural Collapse 2020 systematisch.
Anwendung im Mittelstand
- Mögliche Anwendung: Bei nahezu null Trainingsfehler werden Streuung innerhalb der Klassen, Geometrie der Klassenmittel und Gewichte der letzten Schicht analysiert.
Häufige Fragen
Was bedeutet Neuronaler Kollaps?
Ein bei überparametrisierten Klassifikatoren in der späten Trainingsphase beobachtetes Muster: Innerhalb einer Klasse schrumpft die Repräsentationsstreuung, Klassenmittel ordnen sich symmetrisch an und richten sich am linearen Klassifikator aus.
Welche Fehler sollte man vermeiden?
Neural Collapse mit Modell-, Modus- oder Repräsentationskollaps verwechseln oder aus dem empirischen Muster eine universelle Garantie für Generalisierung ableiten.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: