KV-Cache
Definition
Ein KV-Cache speichert bereits berechnete Key- und Value-Repräsentationen eines autoregressiven Transformer-Modells für spätere Tokens.
Bei der Generierung müssen frühere Attention-Zustände dadurch nicht für jedes neue Token vollständig neu berechnet werden. Das senkt Rechenaufwand, erhöht aber Speicherbedarf.
Einfach erklärt
Wie Zwischenergebnisse aufzubewahren, damit ein langer Text nicht bei jedem neuen Wort von vorne gerechnet werden muss.
Warum das im Alltag wichtig ist
Relevant für LLM-Latenz, Durchsatz und Speicherplanung.
Beispiel aus dem Mittelstand
Ein Inferenzserver misst, wie stark längere Kontexte den GPU-Speicher durch KV-Caches belegen.
Grenzen und Fallstricke
- KV-Cache mit Kontextfenster gleichsetzen; Speicherbedarf unterschätzen; Cache-Sharing ohne Datenschutzprüfung.
Entstehung & Geschichte
KV-Caching ist eine praktische Optimierung autoregressiver Transformer-Inferenz und wird in modernen Inferenzbibliotheken breit eingesetzt.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Speicher, Batchgröße und Kontextlänge bei LLM-Serving gemeinsam planen.
Häufige Fragen
Beschleunigt KV-Cache Training?
Er wird primär für autoregressive Inferenz genutzt. Kostet er Speicher? Ja.
Quellen
- Cache strategies · Hugging Face Transformers, Cache strategies
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: