Sprachmodell
Definition
Ein Sprachmodell weist Textsequenzen Wahrscheinlichkeiten zu oder sagt sprachliche Einheiten aus Kontext voraus.
Moderne neuronale Sprachmodelle arbeiten meist auf Tokens und werden autoregressiv oder mit Maskierungszielen trainiert. Ein Sprachmodell ist nicht automatisch ein großes Sprachmodell.
Einfach erklärt
Wie ein System, das gelernt hat, welche Textfortsetzungen in einem Kontext plausibel sind.
Warum das im Alltag wichtig ist
Grundlage für Textgenerierung, Übersetzung, Suche und viele NLP-Systeme.
Beispiel aus dem Mittelstand
Ein domänenspezifisches Modell bewertet, welche Textfolge in technischen Beschreibungen wahrscheinlicher ist.
Grenzen und Fallstricke
- Wahrscheinlichkeit mit Wahrheit verwechseln; Sprachmodell und Wissensdatenbank gleichsetzen.
Entstehung & Geschichte
Statistische Sprachmodelle existieren seit Jahrzehnten; neuronale Modelle wurden ab den 2000ern und Transformer ab 2017 prägend.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Begriffsverständnis für Auswahl und Grenzen von LLM- und NLP-Systemen schaffen.
Häufige Fragen
Ist jedes Sprachmodell ein LLM?
Nein. Sagt hohe Wahrscheinlichkeit etwas über Faktentreue? Nicht zwingend.
Quellen
- A Neural Probabilistic Language Model · Bengio et al. (2003), A Neural Probabilistic Language Model
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: