Maskierte Sprachmodellierung
Definition
Maskierte Sprachmodellierung trainiert ein Modell, verdeckte Token aus ihrem Kontext vorherzusagen.
Ein Trainingsziel, bei dem verdeckte Token aus ihrem Kontext rekonstruiert werden.
Einfach erklärt
Wie ein Lückentext, dessen fehlende Teile mit Hilfe der Wörter davor und danach ergänzt werden.
Warum das im Alltag wichtig ist
Hilft, Modellqualität, Grenzen und technische Entscheidungen realistisch einzuordnen.
Beispiel aus dem Mittelstand
In einem Satz wird ein Wort verdeckt und das Modell lernt, es aus beiden Kontextseiten vorherzusagen.
Grenzen und Fallstricke
- MLM mit autoregressiver Textgenerierung gleichsetzen oder Maskierungsstrategie nicht dokumentieren.
Entstehung & Geschichte
BERT machte MLM 2018 zu einem zentralen Vortraining für bidirektionale Transformer-Encoder.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Entwicklungsteam prüft ein maskiertes Sprachmodell für eine klar begrenzte Textaufgabe. Maskierungsstrategie, Testdaten und Qualität werden dokumentiert; der Ansatz wird von freier Textgenerierung getrennt.
Häufige Fragen
Was bedeutet Maskierte Sprachmodellierung?
Ein Trainingsziel, bei dem verdeckte Token aus ihrem Kontext rekonstruiert werden.
Welche Fehler sollte man vermeiden?
MLM mit autoregressiver Textgenerierung gleichsetzen oder Maskierungsstrategie nicht dokumentieren.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: