Verarbeitung des Eingabekontexts (Prefill)
Definition
Prefill verarbeitet den Eingabekontext vor Beginn der schrittweisen Textausgabe.
Die Inferenzphase, in der ein Modell alle Eingabetoken verarbeitet und den anfänglichen KV-Cache aufbaut, bevor autoregressive Ausgabe beginnt.
Einfach erklärt
Zuerst arbeitet das Modell die vorgelegten Informationen durch und bereitet sie für seine Antwort auf.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein langer Systemkontext verursacht hohe Time to First Token, obwohl einzelne Ausgabetoken schnell folgen.
Grenzen und Fallstricke
- Die Verarbeitung der Eingabe ist nur ein Teil der Antwortzeit. Ihre Dauer darf nicht mit der Gesamtlatenz oder der Geschwindigkeit der Textausgabe verwechselt werden.
Entstehung & Geschichte
Mit großen Sprachmodellen wurde die Trennung von Prefill und Decode für Leistungsplanung wichtig.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein langer Systemkontext verursacht hohe Time to First Token, obwohl einzelne Ausgabetoken schnell folgen.
Häufige Fragen
Was bedeutet Verarbeitung des Eingabekontexts?
Die Inferenzphase, in der ein Modell alle Eingabetoken verarbeitet und den anfänglichen KV-Cache aufbaut, bevor autoregressive Ausgabe beginnt. Welche Fehler sollte man vermeiden? Prefill-Zeit mit Gesamtlatenz oder Decode-Durchsatz verwechseln.
Quellen
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: