Zeit bis zum ersten Token
Definition
Die Zeit bis zum ersten Token misst die Wartezeit vom festgelegten Anfragebeginn bis zur ersten ausgegebenen Texteinheit.
Die gemessene Dauer vom definierten Anfragebeginn bis zum Empfang des ersten ausgegebenen Tokens eines generativen Dienstes.
Einfach erklärt
Wie lange wartest Du, bis die Antwort anfängt? Gemeint ist der erste Textbaustein, nicht die Zeit bis zum Ende der ganzen Antwort.
Warum das im Alltag wichtig ist
Der Begriff trägt zu sicheren, wartbaren und leistungsfähigen Webanwendungen sowie belastbaren technischen Entscheidungen bei.
Beispiel aus dem Mittelstand
Ein Supportassistent misst TTFT getrennt von Gesamtdauer und Tokens pro Sekunde.
Grenzen und Fallstricke
- Startpunkt, Warteschlange, Netzwerk und Caching müssen definiert sein; niedrige TTFT sagt nichts über Antwortqualität.
Entstehung & Geschichte
TTFT wurde mit gestreamten Sprachmodell-APIs zu einer wichtigen wahrgenommenen Latenzkennzahl.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Supportassistent misst TTFT getrennt von Gesamtdauer und Tokens pro Sekunde.
Häufige Fragen
Was bedeutet Zeit bis zum ersten Token?
Die gemessene Dauer vom definierten Anfragebeginn bis zum Empfang des ersten ausgegebenen Tokens eines generativen Dienstes. Worauf sollte man achten? Startpunkt, Warteschlange, Netzwerk und Caching müssen definiert sein; niedrige TTFT sagt nichts über Antwortqualität.
Quellen
- GenAI-Perf metrics · NVIDIA, GenAI-Perf metrics
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: