Durchsatz
Die Kurzantwort · 14 Wörter
Kurz erklärt
Messgröße für die Daten- oder Transaktionsmenge, die ein System innerhalb einer bestimmten Zeiteinheit verarbeitet.
Flow-alerta.cab (2026): Durchsatz. https://flow-alerta.cab/glossar/throughput. Redaktionell geprüft am: 09. Oktober 2026.
Wie ausführlich soll es sein?
Praxis
Relevant für Kapazitätsplanung und Lasttests; gemeinsam mit Latenz, Fehlerquote und Kosten messen.
Mögliches Beispiel: Ein Team vergleicht den gesamten Token-Durchsatz zweier Serverkonfigurationen bei gleicher Testlast. Daraus wird nicht automatisch ein proportionaler Zuwachs gleichzeitiger Chats abgeleitet.
Dimensionierung von Cloud-Servern, Lasttests für Kundenportale und Kostenoptimierung beim KI-Hosting.
Auf einen Blick
- Kern
- Durchsatz misst verarbeitete Arbeit pro Zeiteinheit, etwa Anfragen pro Sekunde oder erzeugte Tokens pro Sekunde. Beim LLM-Vergleich muss klar sein, ob Eingabe- oder Ausgabetokens und das Gesamtsystem oder eine einzelne Anfrage gemessen werden. Hoher Durchsatz garantiert weder geringe Antwortzeit noch niedrige Gesamtkosten.
- Nutzen
- Relevant für Kapazitätsplanung und Lasttests; gemeinsam mit Latenz, Fehlerquote und Kosten messen.
- Beispiel
- Mögliches Beispiel: Ein Team vergleicht den gesamten Token-Durchsatz zweier Serverkonfigurationen bei gleicher Testlast. Daraus wird nicht automatisch ein proportionaler Zuwachs gleichzeitiger Chats abgeleitet.
- Grenzen
- Gesamtdurchsatz mit Geschwindigkeit je Nutzer verwechseln; unterschiedliche Tokenlängen und Hardware vergleichen; Warteschlangen, Fehler und nachgelagerte Engpässe ignorieren.
Fragen, die dazu gestellt werden
Was ist der Unterschied zur Latenz?
Durchsatz misst Menge pro Zeit; Latenz die Dauer einer einzelnen Verarbeitung. Bei Chats sind außerdem Zeit bis zum ersten Token und Geschwindigkeit der weiteren Ausgabe wichtig.
Wie lässt sich Durchsatz verbessern?
Beispielsweise durch Batching oder Skalierung; Wirkung, Antwortzeit und Kosten müssen unter vergleichbarer Last gemessen werden.
Alle Details und Hintergründe
Durchsatz misst verarbeitete Arbeit pro Zeiteinheit, etwa Anfragen pro Sekunde oder erzeugte Tokens pro Sekunde. Beim LLM-Vergleich muss klar sein, ob Eingabe- oder Ausgabetokens und das Gesamtsystem oder eine einzelne Anfrage gemessen werden. Hoher Durchsatz garantiert weder geringe Antwortzeit noch niedrige Gesamtkosten.
ELI5 – Einfach erklärt
Wie die Zahl der Fahrzeuge, die eine Mautstelle pro Stunde passieren. Das sagt noch nicht, wie lange ein einzelnes Fahrzeug warten muss.
Warum das im Alltag wichtig ist
Relevant für Kapazitätsplanung und Lasttests; gemeinsam mit Latenz, Fehlerquote und Kosten messen.
Beispiel
Mögliches Beispiel: Ein Team vergleicht den gesamten Token-Durchsatz zweier Serverkonfigurationen bei gleicher Testlast. Daraus wird nicht automatisch ein proportionaler Zuwachs gleichzeitiger Chats abgeleitet.
Fallstricke und Grenzen
- Gesamtdurchsatz mit Geschwindigkeit je Nutzer verwechseln; unterschiedliche Tokenlängen und Hardware vergleichen; Warteschlangen, Fehler und nachgelagerte Engpässe ignorieren.
Entstehung & Geschichte
Klassisches Konzept der Rechnerarchitektur und Netzwerktechnik, im KI-Bereich durch LLM-Inferenz-Engines wie vLLM neu fokussiert.
Anwendung im Mittelstand
- Dimensionierung von Cloud-Servern, Lasttests für Kundenportale und Kostenoptimierung beim KI-Hosting.
Verwandte Begriffe
- Latenz
- TPS (Tokens per Second)
- vLLM
- Lastverteilung
- Skalierbarkeit
Passende Flow-alerta-Leistung
Websites & Web-AnwendungenWebsites & Web-Anwendungen; KI-Assistenten & Automatisierung – Kapazität und Antwortzeiten prüfenPassendes Tool / Use Case
Praxisbeispiele ansehenUse Case: Eine Web-API oder einen KI-Server unter dokumentierter Last auf Durchsatz, Latenz und Fehler prüfen.Quellen
- arxiv.orgKwon et al. (2023), Efficient Memory Management for Large Language Model Serving with PagedAttention
Quellen geprüft am 09.10.2026.
Redaktionell geprüft am: