tiktoken
Definition
tiktoken zerlegt Text in Tokens für unterstützte Sprachmodell-Kodierungen.
Die Bibliothek verwendet Byte-Pair-Encoding und bildet Text auf Token-IDs ab. Die passende Kodierung ist entscheidend, weil Tokenanzahlen zwischen Modellen und Texten variieren.
Einfach erklärt
Wie ein Zählwerk, das Text nach den Einheiten eines bestimmten Modells aufteilt.
Warum das im Alltag wichtig ist
Tokenzählung hilft bei der Planung von Kontextlänge und API-Kosten.
Beispiel aus dem Mittelstand
Fiktives Beispiel: Ein Dokumentendienst schätzt vor dem Versand, ob ein Text in das Kontextfenster passt.
Grenzen und Fallstricke
- Nachrichtenhüllen und Werkzeugdefinitionen können zusätzliche Tokens verursachen; Wörter sind keine verlässliche Token-Einheit.
Entstehung & Geschichte
tiktoken ist ein von OpenAI veröffentlichtes Werkzeug zur Tokenisierung.
Anwendung im Mittelstand
- Dokumente portionieren und Anfragegrößen vorab abschätzen.
Häufige Fragen
Sind zehn Wörter immer zehn Tokens?
Nein, Wörter können aus mehreren Tokens bestehen.
Quellen
- tiktoken · OpenAI: tiktoken –
Redaktionell geprüft am: