Selbstaufmerksamkeit (Self-Attention)
Definition
Self-Attention gewichtet Beziehungen innerhalb derselben Eingabefolge.
Ein Mechanismus, bei dem Elemente einer Sequenz andere Elemente derselben Sequenz gewichtet berücksichtigen.
Einfach erklärt
Ein Wort berücksichtigt andere Wörter desselben Satzes unterschiedlich stark, um seinen Zusammenhang zu erfassen.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Token gewichtet andere Wörter im Satz, um seinen Kontextvektor zu bilden.
Grenzen und Fallstricke
- Attention-Gewichte als vollständige Erklärung interpretieren oder Maskierung und Position ignorieren.
Entstehung & Geschichte
Self-Attention wurde vor dem Transformer erforscht und 2017 zu dessen zentraler Komponente.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Token gewichtet andere Wörter im Satz, um seinen Kontextvektor zu bilden.
Häufige Fragen
Was bedeutet Selbstaufmerksamkeit (Self-Attention)?
Ein Mechanismus, bei dem Elemente einer Sequenz andere Elemente derselben Sequenz gewichtet berücksichtigen. Welche Fehler sollte man vermeiden? Attention-Gewichte als vollständige Erklärung interpretieren oder Maskierung und Position ignorieren.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: