Multi-Query Attention
Definition
Multi-Query Attention spart Speicher durch gemeinsam genutzte Informationen.
Attention, bei der mehrere Query-Köpfe ein gemeinsames Key-/Value-Kopfpaar nutzen, um Speicherbedarf und Inferenzbandbreite zu reduzieren.
Einfach erklärt
Mehrere fragende Rechenteile verwenden denselben Vorrat an Vergleichsinformationen, statt ihn jeweils doppelt vorzuhalten.
Warum das im Alltag wichtig ist
Hilft, Modellqualität, Grenzen und technische Entscheidungen realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Sprachmodell teilt K/V-Zustände über Query-Köpfe und verkleinert den KV-Cache.
Grenzen und Fallstricke
- MQA mit GQA verwechseln oder mögliche Qualitätsunterschiede ignorieren.
Entstehung & Geschichte
Shazeer beschrieb Multi-Query Attention 2019 für schnelle autoregressive Decoder.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Sprachmodell teilt K/V-Zustände über Query-Köpfe und verkleinert den KV-Cache.
Häufige Fragen
Was bedeutet Multi-Query Attention?
Attention, bei der mehrere Query-Köpfe ein gemeinsames Key-/Value-Kopfpaar nutzen, um Speicherbedarf und Inferenzbandbreite zu reduzieren.
Welche Fehler sollte man vermeiden?
MQA mit GQA verwechseln oder mögliche Qualitätsunterschiede ignorieren.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: