Wissensdestillation
Die Kurzantwort · 14 Wörter
Kurz erklärt
Ein Schülermodell lernt aus Ausgaben oder Repräsentationen eines Lehrermodells, etwa zur Komprimierung eines KI-Modells.
Flow-alerta.cab (2026): Wissensdestillation. https://flow-alerta.cab/glossar/knowledge-distillation. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Relevant, wenn Modellgröße, Laufzeit oder Betriebskosten begrenzt sind; Qualität und Gesamtaufwand gemeinsam bewerten.
Mögliches Beispiel: Ein Unternehmen prüft, ob ein kleineres Support-Modell mit Beispielen eines größeren Modells ausreichend gute Antworten lernt.
Kostenreduktion bei Cloud-Inferenz, On-Premise-Betrieb schlanker KI-Modelle und mobile Inferenz.
Auf einen Blick
- Kern
- Beim Teacher-Student-Verfahren werden Informationen eines Lehrermodells oder Ensembles für das Training eines Schülermodells genutzt, beispielsweise Wahrscheinlichkeitsverteilungen. Ein kleineres Modell kann günstiger zu betreiben sein, erreicht aber nicht automatisch die Qualität des Lehrers.
- Nutzen
- Relevant, wenn Modellgröße, Laufzeit oder Betriebskosten begrenzt sind; Qualität und Gesamtaufwand gemeinsam bewerten.
- Beispiel
- Mögliches Beispiel: Ein Unternehmen prüft, ob ein kleineres Support-Modell mit Beispielen eines größeren Modells ausreichend gute Antworten lernt.
- Grenzen
- Verlust von Generalisierungsfähigkeit und 'Out-of-Domain'-Wissen; erfordert hohe Rechenleistung während des Destillationsprozesses.
Fragen, die dazu gestellt werden
Was unterscheidet Destillation von Quantisierung?
Destillation überträgt Wissen durch Training; Quantisierung reduziert die numerische Präzision der Darstellung.
Muss das Schülermodell kleiner sein?
Nein. Komprimierung ist ein häufiger Zweck, aber nicht die einzige Form der Wissensübertragung.
Alle Details und Hintergründe
Beim Teacher-Student-Verfahren werden Informationen eines Lehrermodells oder Ensembles für das Training eines Schülermodells genutzt, beispielsweise Wahrscheinlichkeitsverteilungen. Ein kleineres Modell kann günstiger zu betreiben sein, erreicht aber nicht automatisch die Qualität des Lehrers.
ELI5 – Einfach erklärt
Ein erfahrener Lehrer zeigt einem Schüler, wie er Aufgaben löst. Der Schüler kann davon lernen, übernimmt aber nicht automatisch alle Fähigkeiten.
Warum das im Alltag wichtig ist
Relevant, wenn Modellgröße, Laufzeit oder Betriebskosten begrenzt sind; Qualität und Gesamtaufwand gemeinsam bewerten.
Beispiel
Mögliches Beispiel: Ein Unternehmen prüft, ob ein kleineres Support-Modell mit Beispielen eines größeren Modells ausreichend gute Antworten lernt.
Fallstricke und Grenzen
- Verlust von Generalisierungsfähigkeit und 'Out-of-Domain'-Wissen; erfordert hohe Rechenleistung während des Destillationsprozesses.
Entstehung & Geschichte
Hinton, Vinyals und Dean beschreiben 2015 einen einflussreichen Ansatz zur Wissensübertragung auf ein einzelnes Modell.
Anwendung im Mittelstand
- Kostenreduktion bei Cloud-Inferenz, On-Premise-Betrieb schlanker KI-Modelle und mobile Inferenz.
Verwandte Begriffe
- Model Compression
- Quantization
- Teacher-Student-Netzwerk
- LLM Fine-Tuning
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Potenzialanalyse & Fahrplan – Modellbedarf und Betriebsaufwand bewertenPassendes Tool / Use Case
Praxisbeispiele ansehenUse Case: Ein Schülermodell gegen das Lehrermodell auf eigenen Aufgaben evaluieren.Quellen
- arxiv.orgHinton et al. (2015), Distilling the Knowledge in a Neural Network
Quellen geprüft am 09.10.2026.
Redaktionell geprüft am: