Grouped-Query Attention (GQA)
Die Kurzantwort · 9 Wörter
Kurz erklärt
GQA teilt mehrere Query-Köpfe auf weniger gemeinsame Key-Value-Köpfe auf.
Flow-alerta.cab (2026): Grouped-Query Attention (GQA). https://flow-alerta.cab/glossar/grouped-query-attention-gqa. Redaktionell geprüft am: 10. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
GQA kann Speicher und Inferenzkosten senken, ohne für jedes Modell gleiche Qualitätsgewinne zu garantieren.
Hypothetisches Beispiel: Ein LLM-Serving-Team vergleicht GQA- und MHA-Modelle bei Qualität, Latenz und KV-Cache.
Vergleich Modelle bei gleichem Kontext, gleicher Batchgröße und passenden Qualitätskriterien.
Auf einen Blick
- Kern
- Die Architektur liegt zwischen Multi-Head Attention mit separaten K/V-Köpfen und Multi-Query Attention mit nur einem K/V-Kopf. Ziel ist schnellere Decoder-Inferenz bei geringerem KV-Cache.
- Nutzen
- GQA kann Speicher und Inferenzkosten senken, ohne für jedes Modell gleiche Qualitätsgewinne zu garantieren.
- Beispiel
- Hypothetisches Beispiel: Ein LLM-Serving-Team vergleicht GQA- und MHA-Modelle bei Qualität, Latenz und KV-Cache.
- Grenzen
- Mit Graph Question Answering verwechseln; Kopfzahlen falsch konfigurieren; Durchsatz ohne Batch- und Kontextangaben vergleichen.
Fragen, die dazu gestellt werden
Wie viele K/V-Köpfe nutzt GQA im engeren Sinn?
Mehr als einen und weniger als Query-Köpfe.
Welche Grenzfälle gibt es?
Ein K/V-Kopf entspricht MQA; ein K/V-Kopf pro Query-Kopf entspricht MHA.
Alle Details und Hintergründe
Die Architektur liegt zwischen Multi-Head Attention mit separaten K/V-Köpfen und Multi-Query Attention mit nur einem K/V-Kopf. Ziel ist schnellere Decoder-Inferenz bei geringerem KV-Cache.
ELI5 – Einfach erklärt
Mehrere Abfrageköpfe teilen sich kleinere Gruppen gemeinsamer Speicherinformationen.
Warum das im Alltag wichtig ist
GQA kann Speicher und Inferenzkosten senken, ohne für jedes Modell gleiche Qualitätsgewinne zu garantieren.
Beispiel
Hypothetisches Beispiel: Ein LLM-Serving-Team vergleicht GQA- und MHA-Modelle bei Qualität, Latenz und KV-Cache.
Fallstricke und Grenzen
- Mit Graph Question Answering verwechseln; Kopfzahlen falsch konfigurieren; Durchsatz ohne Batch- und Kontextangaben vergleichen.
Entstehung & Geschichte
Ainslie et al. führten den Begriff 2023 als Verallgemeinerung von Multi-Query Attention ein.
Anwendung im Mittelstand
- Vergleich Modelle bei gleichem Kontext, gleicher Batchgröße und passenden Qualitätskriterien.
Verwandte Begriffe
- Multi-Head Attention
- Multi-Query Attention
- KV-Cache
- Transformer
- Inferenz
Passende Flow-alerta-Leistung
KI-Potenzialanalyse & FahrplanKI-Beratung: Aufgaben, Daten und Voraussetzungen eines möglichen KI-Anwendungsfalls prüfen.Passendes Tool / Use Case
Praxisbeispiele ansehenGQA-, MHA- und MQA-Architekturvergleich; Messung von KV-Cache, Latenz und Qualität.Quellen
Quellenprüfung: 10.10.2026. Definition und dokumentierte Einordnung abgeglichen; Beispiele beschreiben mögliche Anwendungen.
Redaktionell geprüft am: