Skalierung des Rechenaufwands zur Inferenzzeit
Definition
Inference-Time Scaling erhöht oder verteilt Rechenaufwand während der Inferenz, um die Lösungsqualität gezielt zu verbessern.
Statt nur Modellgröße oder Pretraining zu skalieren, können Systeme bei der Anfrage mehr Kandidaten erzeugen, suchen, verifizieren oder überarbeiten. Welche Strategie sinnvoll ist, hängt von Schwierigkeit und Budget ab.
Einfach erklärt
Wie schwierigen Aufgaben mehr Bearbeitungszeit zu geben als einfachen.
Warum das im Alltag wichtig ist
Relevant für aktuelle Reasoning-Systeme, aber nur sinnvoll, wenn Qualitätsgewinn, Kosten und Latenz gemeinsam gemessen werden.
Beispiel aus dem Mittelstand
Ein Modell erhält bei einfachen Tickets eine direkte Antwortstrategie, bei komplexen Analysen dagegen zusätzliche Kandidaten- und Prüfschritte.
Grenzen und Fallstricke
- Scaling als Garantie behandeln; jeden Prompt gleich stark skalieren; versteckte Kosten und längere Antwortzeiten ignorieren.
Entstehung & Geschichte
Snell et al. untersuchten 2024, wie sich zusätzliches Rechenbudget zur Inferenzzeit für Verifiersuche oder adaptive Überarbeitung einsetzen lässt. Die geeignete Verteilung hängt in den untersuchten Aufgaben von deren Schwierigkeit ab.
Anwendung im Mittelstand
- Mögliche Anwendung: abgestufte Reasoning-Budgets für Aufgabenklassen mit unterschiedlicher Komplexität und Risikostufe.
Häufige Fragen
Was wird skaliert?
Rechenarbeit während der Anfrage. Ist das identisch mit längerer Chain-of-Thought? Nein, Test-Time Scaling umfasst mehrere mögliche Verfahren.
Quellen
- Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters · Snell et al. (2024), Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
- Provable Scaling Laws for the Test-Time Compute of Large Language Models (Vorabversion 2024; überarbeitete Fassung 2025) · Chen et al., Provable Scaling Laws for the Test-Time Compute of Large Language Models (Vorabversion 2024; überarbeitete Fassung 2025)
Quellenprüfung: 10./11.10.2026.
Redaktionell geprüft am: