Zero Redundancy Optimizer (ZeRO)
Definition
ZeRO verteilt Trainingszustände auf mehrere Prozesse und reduziert dadurch mehrfach belegten Speicher.
Eine Technikfamilie, die Optimiererzustände, Gradienten und Parameter über Datenparallelprozesse partitioniert, um Speicherredundanz zu senken.
Einfach erklärt
Mehrere Rechengeräte teilen sich die benötigten Lerninformationen, statt alle Informationen auf jedem Gerät vollständig vorzuhalten.
Warum das im Alltag wichtig ist
Der Begriff hilft, KI-Systeme fundiert auszuwählen, zu entwickeln, zu bewerten und ihre technischen Risiken realistisch einzuordnen.
Beispiel aus dem Mittelstand
Ein Team nutzt ZeRO Stage 2 und misst Speicher, Kommunikation und Wiederanlauf auf mehreren GPUs.
Grenzen und Fallstricke
- ZeRO ist nicht Null-Overhead; Stufen unterscheiden sich, Kommunikation und Checkpointing werden komplexer.
Entstehung & Geschichte
Rajbhandari und Mitautoren veröffentlichten ZeRO 2019 als Grundlage für sehr große Trainingsläufe.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Team nutzt ZeRO Stage 2 und misst Speicher, Kommunikation und Wiederanlauf auf mehreren GPUs.
Häufige Fragen
Was bedeutet Zero Redundancy Optimizer (ZeRO)?
Eine Technikfamilie, die Optimiererzustände, Gradienten und Parameter über Datenparallelprozesse partitioniert, um Speicherredundanz zu senken. Worauf sollte man achten? ZeRO ist nicht Null-Overhead; Stufen unterscheiden sich, Kommunikation und Checkpointing werden komplexer.
Quellen
- ZeRO · Rajbhandari et al., ZeRO
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: