Kausale Maskierung (Causal Masking)
Die Kurzantwort · 17 Wörter
Kurz erklärt
Attention-Maske, die verhindert, dass ein Modell bei der Vorhersage eines Tokens auf zukünftige Positionen der Sequenz zugreift.
Flow-alerta.cab (2026): Kausale Maskierung (Causal Masking). https://flow-alerta.cab/glossar/causal-masking. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Grundmechanismus autoregressiver Sprachmodelle und wichtig zum Verständnis von Training, Dekodierung und Datenleckage innerhalb einer Sequenz.
Beispielszenario: Beim Training eines Textgenerators wird für Position 5 der Zugriff auf die Token an Position 6 und später maskiert.
Bei eigenen autoregressiven Modellen Maskierung, Padding und Positionslogik getrennt testen; bei fertigen APIs ist das meist ein interner Architekturmechanismus.
Auf einen Blick
- Kern
- Bei kausaler Maskierung darf eine Position nur sich selbst und frühere Positionen berücksichtigen. Transformer-Decoder blockieren die Attention auf spätere Token. Zusammen mit korrekt um eine Position versetzten Eingaben verhindert dies, dass bei der autoregressiven Vorhersage spätere Ausgaben verwendet werden.
- Nutzen
- Grundmechanismus autoregressiver Sprachmodelle und wichtig zum Verständnis von Training, Dekodierung und Datenleckage innerhalb einer Sequenz.
- Beispiel
- Beispielszenario: Beim Training eines Textgenerators wird für Position 5 der Zugriff auf die Token an Position 6 und später maskiert.
- Grenzen
- Causal Mask mit Padding Mask verwechseln; zukünftige Token im Training sichtbar lassen; annehmen, jede Transformer-Architektur nutze kausale Maskierung.
Im Zusammenhang
Fragen, die dazu gestellt werden
Ist Causal Masking dasselbe wie Padding Masking? Nein. Warum wird maskiert? Damit zukünftige Token nicht in die aktuelle Vorhersage einfließen. Nutzen Encoder wie BERT dieselbe Maske? Nicht im klassischen bidirektionalen BERT.
Alle Details und Hintergründe
Bei kausaler Maskierung darf eine Position nur sich selbst und frühere Positionen berücksichtigen. Transformer-Decoder blockieren die Attention auf spätere Token. Zusammen mit korrekt um eine Position versetzten Eingaben verhindert dies, dass bei der autoregressiven Vorhersage spätere Ausgaben verwendet werden.
ELI5 – Einfach erklärt
Wenn das Modell das nächste Wort vorhersagen soll, darf es nicht heimlich schon die späteren Wörter sehen.
Warum das im Alltag wichtig ist
Grundmechanismus autoregressiver Sprachmodelle und wichtig zum Verständnis von Training, Dekodierung und Datenleckage innerhalb einer Sequenz.
Beispiel
Beispielszenario: Beim Training eines Textgenerators wird für Position 5 der Zugriff auf die Token an Position 6 und später maskiert.
Fallstricke und Grenzen
- Causal Mask mit Padding Mask verwechseln; zukünftige Token im Training sichtbar lassen; annehmen, jede Transformer-Architektur nutze kausale Maskierung.
Entstehung & Geschichte
Das Transformer-Paper von 2017 beschreibt im Decoder das Maskieren nachfolgender Positionen, damit Vorhersagen nur von bereits bekannten Ausgaben abhängen.
Anwendung im Mittelstand
- Bei eigenen autoregressiven Modellen Maskierung, Padding und Positionslogik getrennt testen; bei fertigen APIs ist das meist ein interner Architekturmechanismus.
Verwandte Begriffe
- Self-Attention
- Autoregressives Modell
- Transformer
- Decoder
- Token
Passende Flow-alerta-Leistung
KI-Einführung & BegleitungKI-Einführung & Begleitung: Nutzungsleitlinien, Grenzen, Zuständigkeiten und Eskalationswege klären.Passendes Tool / Use Case
Praxisbeispiele ansehenUse Case: autoregressives Training eines Transformer-Decoders ohne Zugriff auf zukünftige Token.Quellen
- arxiv.orgVaswani et al., Attention Is All You Need (2017), Abschnitt 3.1 und 3.2.3
Quellenprüfung: 09.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: