k-armiger Bandit
Definition
Ein k-armiger Bandit ist ein Entscheidungsproblem mit k möglichen Aktionen, deren unbekannte Belohnungen durch Ausprobieren gelernt werden.
Das Kernproblem ist der Trade-off zwischen Exploration neuer Optionen und Exploitation der bisher besten Option. Anders als vollständiges Reinforcement Learning hat der klassische Bandit keinen komplexen Zustandsübergang.
Einfach erklärt
Wie zwischen mehreren Automaten zu wählen und gleichzeitig herauszufinden, welcher langfristig am meisten auszahlt.
Warum das im Alltag wichtig ist
Relevant für Online-Experimente, Empfehlungen und adaptive Auswahl, wenn Ergebnisse schnell beobachtbar sind.
Beispiel aus dem Mittelstand
Ein System verteilt Traffic adaptiv auf mehrere Betreffvarianten, hält aber kontrollierte Exploration aufrecht.
Grenzen und Fallstricke
- Bandit mit A/B-Test gleichsetzen; verzögerte oder verzerrte Rewards ignorieren; Exploration zu früh stoppen; ungeeignete Ziele optimieren.
Entstehung & Geschichte
Bandit-Probleme sind ein klassisches Modell der sequentiellen Entscheidungstheorie und werden ausführlich in Reinforcement-Learning-Literatur behandelt.
Anwendung im Mittelstand
- Mögliche Anwendungen: adaptive Experimente, Empfehlungsauswahl und dynamische Ressourcenallokation.
Häufige Fragen
Was bedeutet k?
Anzahl der verfügbaren Aktionen. Was ist Exploration? Bewusstes Testen unsicherer Optionen.
Quellen
- Reinforcement Learning: An Introduction, Chapter 2 · Sutton & Barto, Reinforcement Learning: An Introduction, Chapter 2
- Bandit Algorithms, Kapitel 4 und 6 · Lattimore & Szepesvári, Bandit Algorithms, Kapitel 4 und 6
Quellenprüfung: 10./11.10.2026.
Redaktionell geprüft am: