Attention mit gleitendem Fenster
Definition
Attention mit gleitendem Fenster begrenzt den betrachteten Kontext auf eine lokale Umgebung.
Attention mit gleitendem Fenster beschränkt jedes Token auf einen lokalen Kontextbereich, um Rechen- und Speicheraufwand langer Sequenzen zu senken.
Einfach erklärt
Beim Lesen schaut das Modell für jede Stelle nur auf einen begrenzten Ausschnitt in ihrer Nähe.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Dokumentmodell verarbeitet lange Verträge, indem jedes Token vor allem nahe Textstellen betrachtet.
Grenzen und Fallstricke
- Lokale Fenster können weit entfernte Abhängigkeiten übersehen; Fenstergröße und globale Verbindungen sind entscheidend.
Entstehung & Geschichte
Longformer beschrieb 2020 lokale Fenster kombiniert mit globaler Attention; spätere Modelle nutzen verwandte Varianten.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Dokumentmodell verarbeitet lange Verträge, indem jedes Token vor allem nahe Textstellen betrachtet.
Häufige Fragen
Was bedeutet Attention mit gleitendem Fenster?
Attention mit gleitendem Fenster beschränkt jedes Token auf einen lokalen Kontextbereich, um Rechen- und Speicheraufwand langer Sequenzen zu senken. Worauf sollte man achten? Lokale Fenster können weit entfernte Abhängigkeiten übersehen; Fenstergröße und globale Verbindungen sind entscheidend.
Quellen
- Longformer: The Long-Document Transformer · Beltagy et al., Longformer: The Long-Document Transformer
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: