Operatorfusion
Definition
Mehrere Rechenoperationen werden zu einem effizienteren Ausführungsschritt zusammengefasst.
Ein Compiler oder eine Inferenzlaufzeit verbindet geeignete Operationen eines Berechnungsgraphen. Das kann Zwischenspeicher und Aufrufaufwand reduzieren.
Einfach erklärt
Statt ein Werkstück zwischen mehreren Stationen abzulegen, erledigt eine Station zusammenhängende Schritte.
Warum das im Alltag wichtig ist
Dadurch können Modelle auf passender Hardware schneller oder sparsamer laufen.
Beispiel aus dem Mittelstand
Fiktiv: Eine Laufzeit führt eine Matrixoperation und anschließende Aktivierung gemeinsam aus.
Grenzen und Fallstricke
- Nicht jede Operation ist kombinierbar. Numerische Eigenschaften und Hardwareunterstützung müssen erhalten bleiben.
Entstehung & Geschichte
Die Technik stammt aus Compileroptimierung und wurde auf ML-Berechnungsgraphen übertragen.
Anwendung im Mittelstand
- KMU nutzen sie meist über vorhandene Inferenzwerkzeuge statt eigener Implementierung.
Häufige Fragen
Ändert Fusion das fachliche Modellziel?
Normalerweise soll dieselbe Berechnung effizienter ausgeführt werden.
Quellen
- Graph Optimizations — · ONNX Runtime: Graph Optimizations —
Redaktionell geprüft am: