Latenzbudget
Definition
Ein Latenzbudget verteilt eine maximal akzeptable Antwortzeit auf mehrere Komponenten eines Systems.
Statt nur End-to-End-Latenz zu messen, erhalten Netzwerk, Datenbank, Modell, Tools oder Rendering eigene Budgets. Das ist eine Architekturpraxis, kein universeller Standard.
Einfach erklärt
Wie eine Gesamtfrist auf mehrere Arbeitsschritte aufzuteilen.
Warum das im Alltag wichtig ist
Relevant für Voice, Agenten, APIs und Websites, bei denen einzelne langsame Komponenten die Nutzererfahrung dominieren.
Beispiel aus dem Mittelstand
Für einen Assistenten werden 2 Sekunden Gesamtziel auf Retrieval, Modell, Toolcalls und Rendering verteilt.
Grenzen und Fallstricke
- Nur Durchschnittslatenz budgetieren; Tail-Latency ignorieren; unrealistische Budgets ohne Lasttest festlegen.
Entstehung & Geschichte
Latency Budgets sind aus Performance Engineering und SRE-Praxis abgeleitet; verteilte Systeme betrachten besonders Tail-Latency.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Zeitkritische Workflows mit p95/p99-Zielen pro Komponente planen.
Häufige Fragen
Ist ein Latency Budget ein SLA?
Nicht zwingend; es kann internes Engineering-Ziel sein.
Quellen
- The Tail at Scale · Dean & Barroso (2013), The Tail at Scale
- Ish-Shalom, Latenzbudget, Folie 24 · USENIX SREcon 2021, Ish-Shalom, Latenzbudget, Folie 24
Quellenprüfung: 10./12.10.2026.
Redaktionell geprüft am: