Transformer
Definition
Transformer verarbeiten Informationen, indem sie Beziehungen zwischen Teilen einer Eingabe gewichten.
Eine Sequenzmodellarchitektur, die Repräsentationen vor allem mit Attention und Feedforward-Blöcken statt Rekurrenz verarbeitet.
Einfach erklärt
Beim Lesen schaut das Modell darauf, welche Textstellen füreinander wichtig sind. So verbindet es Informationen aus verschiedenen Teilen des Textes.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Betrieb nutzt einen Encoder-Transformer zur Klassifikation technischer Tickets.
Grenzen und Fallstricke
- Transformer garantiert weder lange Kontextnutzung noch Faktentreue; Rechenbedarf, Daten und Architekturvariante sind entscheidend.
Entstehung & Geschichte
Vaswani und Mitautoren veröffentlichten den Transformer 2017 für maschinelle Übersetzung.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Betrieb nutzt einen Encoder-Transformer zur Klassifikation technischer Tickets.
Häufige Fragen
Was bedeutet Transformer?
Eine Sequenzmodellarchitektur, die Repräsentationen vor allem mit Attention und Feedforward-Blöcken statt Rekurrenz verarbeitet. Worauf sollte man achten? Transformer garantiert weder lange Kontextnutzung noch Faktentreue; Rechenbedarf, Daten und Architekturvariante sind entscheidend.
Quellen
- Attention Is All You Need · Vaswani et al., Attention Is All You Need
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: