WordPiece
Definition
WordPiece zerlegt Wörter mithilfe eines begrenzten Vokabulars in wiederverwendbare Textstücke.
Ein Subword-Tokenisierungsverfahren, das ein begrenztes Vokabular aus häufigen Zeichenfolgen nutzt und Wörter segmentiert.
Einfach erklärt
Lange oder unbekannte Wörter werden in kleinere bekannte Stücke zerlegt. Mit diesem Baukasten kann das Modell den Text weiterverarbeiten.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein mehrsprachiger Klassifikator prüft Segmentierung von Artikelnummern und zusammengesetzten Fachwörtern.
Grenzen und Fallstricke
- Implementierungen unterscheiden sich; WordPiece nicht mit BPE gleichsetzen und Tokenizer nie vom Modellvokabular trennen.
Entstehung & Geschichte
WordPiece entstand in der Spracherkennung und wurde durch BERT für neuronale Sprachmodelle bekannt.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein mehrsprachiger Klassifikator prüft Segmentierung von Artikelnummern und zusammengesetzten Fachwörtern.
Häufige Fragen
Was bedeutet WordPiece?
Ein Subword-Tokenisierungsverfahren, das ein begrenztes Vokabular aus häufigen Zeichenfolgen nutzt und Wörter segmentiert. Worauf sollte man achten? Implementierungen unterscheiden sich; WordPiece nicht mit BPE gleichsetzen und Tokenizer nie vom Modellvokabular trennen.
Quellen
- Google Neural Machine Translation · Wu et al., Google Neural Machine Translation
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: