Aufmerksamkeitssenke (Attention Sink)
Die Kurzantwort · 14 Wörter
Kurz erklärt
Token, das ungewöhnlich viel Attention-Gewicht erhält, obwohl sein Inhalt dafür nicht ausschlaggebend sein muss.
Flow-alerta.cab (2026): Aufmerksamkeitssenke (Attention Sink). https://flow-alerta.cab/glossar/attention-sink. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Hilft, Grenzen der Interpretation von Attention-Gewichten und Besonderheiten der Kontextverarbeitung zu verstehen.
Beispielszenario: In einem Modellversuch bleiben ausgewählte Anfangstoken zusammen mit jüngsten Token im Cache erhalten.
Für spezialisierte Modell- und Inferenzentwicklung relevant; bei üblichen KI-Diensten kein allgemein verfügbarer Schalter.
Auf einen Blick
- Kern
- Als Aufmerksamkeitssenke bezeichnet die Forschung Token, auf die ein Sprachmodell starkes Attention-Gewicht richtet, ohne dass sie entsprechend inhaltlich wichtig sind. Die StreamingLLM-Arbeit beobachtet dies insbesondere bei anfänglichen Token und nutzt deren Erhalt im KV-Cache für Streaming-Verarbeitung.
- Nutzen
- Hilft, Grenzen der Interpretation von Attention-Gewichten und Besonderheiten der Kontextverarbeitung zu verstehen.
- Beispiel
- Beispielszenario: In einem Modellversuch bleiben ausgewählte Anfangstoken zusammen mit jüngsten Token im Cache erhalten.
- Grenzen
- Hohe Gewichte automatisch als inhaltliche Wichtigkeit lesen; Streaming-Verarbeitung mit Erinnerung an den gesamten Text gleichsetzen.
Im Zusammenhang
Fragen, die dazu gestellt werden
Ist das ein besonders wichtiges Wort? Nicht zwingend. Bewahrt StreamingLLM damit den gesamten Verlauf? Nein, ein begrenzter Cache ersetzt keine vollständige Erinnerung.
Alle Details und Hintergründe
Als Aufmerksamkeitssenke bezeichnet die Forschung Token, auf die ein Sprachmodell starkes Attention-Gewicht richtet, ohne dass sie entsprechend inhaltlich wichtig sind. Die StreamingLLM-Arbeit beobachtet dies insbesondere bei anfänglichen Token und nutzt deren Erhalt im KV-Cache für Streaming-Verarbeitung.
ELI5 – Einfach erklärt
Ein Platz zieht viel rechnerische Aufmerksamkeit an, obwohl dort nicht unbedingt die wichtigste Information steht.
Warum das im Alltag wichtig ist
Hilft, Grenzen der Interpretation von Attention-Gewichten und Besonderheiten der Kontextverarbeitung zu verstehen.
Beispiel
Beispielszenario: In einem Modellversuch bleiben ausgewählte Anfangstoken zusammen mit jüngsten Token im Cache erhalten.
Fallstricke und Grenzen
- Hohe Gewichte automatisch als inhaltliche Wichtigkeit lesen; Streaming-Verarbeitung mit Erinnerung an den gesamten Text gleichsetzen.
Entstehung & Geschichte
Xiao und andere untersuchten das Phänomen 2023 in „Efficient Streaming Language Models with Attention Sinks“.
Anwendung im Mittelstand
- Für spezialisierte Modell- und Inferenzentwicklung relevant; bei üblichen KI-Diensten kein allgemein verfügbarer Schalter.
Verwandte Begriffe
- Aufmerksamkeitsmechanismus
- KV-Cache
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Beratung: KI-Potenzialanalyse & Fahrplan zu Aufgaben, Daten und Voraussetzungen eines möglichen ersten KI-Anwendungsfalls.Passendes Tool / Use Case
Praxisbeispiele ansehenForschungsbeispiel: StreamingLLM.Quellen
- arxiv.orgXiao et al., Efficient Streaming Language Models with Attention Sinks (2023)
- hanlab.mit.eduMIT Han Lab, StreamingLLM
Quellenprüfung: 09.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: