Token
Definition
Tokens sind Textbausteine, in die ein Modell Eingaben und Ausgaben zerlegt.
Ein Token ist eine Verarbeitungseinheit des Modells. Wie Text in Tokens aufgeteilt und abgerechnet wird, hängt vom jeweiligen Dienst und Modell ab.
Einfach erklärt
Wie kleine Stücke eines Satzes, die das System einzeln verarbeitet.
Warum das im Alltag wichtig ist
Hilft, Möglichkeiten, Qualität und Grenzen von KI-Systemen realistisch einzuordnen.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Vor einem langen Dokumenten-Workflow schätzt ein Team Eingabe- und Ausgabelänge ab.
Grenzen und Fallstricke
- Zeichen, Wörter und Tokens gleichsetzen oder Kosten nur anhand der Eingabelänge schätzen.
Entstehung & Geschichte
Tokenisierung ist Bestandteil moderner Sprachmodell-Verarbeitung. Die OpenAI-Dokumentation erläutert Tokenarten und Zählung; eine feste allgemeine Umrechnung von Wörtern in Tokens gibt es nicht.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Vor einem langen Dokumenten-Workflow schätzt ein Team Eingabe- und Ausgabelänge ab.
Häufige Fragen
Was bedeutet Token?
Tokens sind Textbausteine, in die ein Modell Eingaben und Ausgaben zerlegt.
Welche Fehler sind zu vermeiden?
Zeichen, Wörter und Tokens gleichsetzen oder Kosten nur anhand der Eingabelänge schätzen.
Quellen
- Understanding and counting tokens · OpenAI, Understanding and counting tokens
Quellen geprüft am 09.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: