Tokenisierung
Definition
Tokenisierung zerlegt Eingaben in Einheiten, die ein Modell verarbeiten kann.
Die Zerlegung von Text oder anderen Eingaben in diskrete Einheiten, die ein Modell oder Suchsystem verarbeitet.
Einfach erklärt
Ein Text wird in kleine Stücke zerlegt. Das können Wörter oder Wortteile sein, mit denen das System weiterarbeitet.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein mehrsprachiger Suchdienst prüft, wie sein Tokenizer Artikelnummern und zusammengesetzte Wörter behandelt.
Grenzen und Fallstricke
- Tokenzahl entspricht nicht Wortzahl; Normalisierung, Sprache und unbekannte Zeichen beeinflussen Kosten und Qualität.
Entstehung & Geschichte
Von Wort- und Zeichenverfahren entwickelte sich Tokenisierung zu lernbaren Subword-Verfahren wie BPE und Unigram.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein mehrsprachiger Suchdienst prüft, wie sein Tokenizer Artikelnummern und zusammengesetzte Wörter behandelt.
Häufige Fragen
Was bedeutet Tokenisierung?
Die Zerlegung von Text oder anderen Eingaben in diskrete Einheiten, die ein Modell oder Suchsystem verarbeitet. Worauf sollte man achten? Tokenzahl entspricht nicht Wortzahl; Normalisierung, Sprache und unbekannte Zeichen beeinflussen Kosten und Qualität.
Quellen
- SentencePiece · Kudo and Richardson, SentencePiece
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: