Group Relative Policy Optimization (GRPO)
Definition
GRPO ist ein Policy-Optimierungsverfahren, das relative Belohnungen innerhalb von Antwortgruppen nutzt.
GRPO wurde im DeepSeekMath-Kontext als PPO-Variante vorgestellt. Für mehrere Antworten zu einer Aufgabe werden gruppenrelative Belohnungssignale genutzt, wodurch ein separater Critic in dieser Form vermieden werden kann.
Einfach erklärt
Mehrere Lösungsversuche werden gegeneinander bewertet; das Modell lernt stärker aus den relativ besseren Antworten.
Warum das im Alltag wichtig ist
Relevant für RL-basiertes Post-Training von Sprachmodellen, besonders bei Aufgaben mit automatisierbarer Bewertung. Für normale Geschäftsautomatisierung ist es kein Standardbaustein.
Beispiel aus dem Mittelstand
Ein Forschungsteam erzeugt mehrere mathematische Antworten und verwendet verifizierbare Ergebnisse als gruppenrelative Lernsignale.
Grenzen und Fallstricke
- GRPO mit normalem Prompting verwechseln; Belohnungsfunktion schlecht definieren; Benchmarkerfolg auf reale Aufgaben übertragen; hohe Trainingskosten unterschätzen.
Entstehung & Geschichte
Shao et al. führten GRPO 2024 in DeepSeekMath als Variante von PPO ein.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand nur in spezialisierten Modelltrainingsprojekten, wenn eigene Modelle und belastbare verifizierbare Rewards vorhanden sind.
Häufige Fragen
Ist GRPO ein Inferenzverfahren?
Nein, es ist ein Optimierungsverfahren für Training/Post-Training. Braucht man es für einen KI-Assistenten? In der Regel nicht.
Quellen
- DeepSeekMath · Shao et al. (2024), DeepSeekMath
- PPO · Schulman et al. (2017), PPO
- DeepSeekMath, Abschnitte 4.1.1–4.1.2 · Shao et al., DeepSeekMath, Abschnitte 4.1.1–4.1.2
Quellenprüfung: 10./11.10.2026.
Redaktionell geprüft am: