Quadratischer Aufwand des Attention-Mechanismus
Definition
Vollständige Attention wird bei langen Eingaben aufwendig.
Bei vollständiger Self-Attention werden Beziehungen zwischen Tokenpaaren berechnet; deren Anzahl wächst quadratisch mit der Sequenzlänge.
Einfach erklärt
Wenn jedes Kind mit jedem anderen sprechen soll, wachsen die Gesprächspaare schnell.
Warum das im Alltag wichtig ist
Längere Kontexte können deutlich mehr Rechenarbeit verursachen.
Beispiel aus dem Mittelstand
Ein fiktives Team vergleicht kurze Auszüge mit vollständigen Dokumenten in einer Modellanfrage.
Grenzen und Fallstricke
- Optimierte Implementierungen ändern Speicherbedarf und Laufzeit; nicht jede Architektur verwendet vollständige Attention.
Entstehung & Geschichte
Der Zusammenhang gehört zu den Grundlagen der Transformer-Architektur.
Anwendung im Mittelstand
- Kontext auf relevante Inhalte begrenzen und reale Laufzeit messen.
Häufige Fragen
Verdoppelt doppelter Text immer die Gesamtkosten?
Nein, das hängt von Modell und Implementierung ab.
Quellen
Redaktionell geprüft am: