Promptkomprimierung
Definition
Modelleingaben bei möglichst erhaltenem Nutzen verkürzen.
Promptkomprimierung reduziert den Umfang einer Eingabe, etwa durch Auswahl, Verdichtung oder Entfernen weniger relevanter Bestandteile.
Einfach erklärt
Aus einem langen Merkzettel wird eine kürzere Fassung mit den wichtigen Hinweisen.
Warum das im Alltag wichtig ist
Kürzere Eingaben können Kontextplatz und Verarbeitungskosten sparen.
Beispiel aus dem Mittelstand
Ein fiktives System verdichtet lange Rechercheauszüge vor einer zusammenfassenden Antwort.
Grenzen und Fallstricke
- Bedeutung, Einschränkungen und Quellenzuordnung können verloren gehen; Qualität muss nachgemessen werden.
Entstehung & Geschichte
Forschungswerkzeuge wie LLMLingua untersuchen automatische Komprimierung für Sprachmodelle.
Anwendung im Mittelstand
- Original und komprimierte Fassung mit denselben Aufgaben vergleichen.
Häufige Fragen
Ist das dasselbe wie Caching?
Nein, Komprimierung verändert den Eingabeumfang.
Quellen
Redaktionell geprüft am: