Inferenz-Engine
Definition
Im ML-Kontext führt eine Inferenz-Engine trainierte Modelle in einer Laufzeitumgebung aus. Je nach Runtime können hardwareabhängige Optimierungen hinzukommen.
Sie lädt beziehungsweise verarbeitet Modelle und führt deren Operationen aus. Je nach Runtime kommen Graphoptimierung, Speicherverwaltung und Hardwarebeschleunigung hinzu.
Einfach erklärt
Wie der Motor, der ein fertiges Modell auf der Zielhardware tatsächlich laufen lässt.
Warum das im Alltag wichtig ist
Relevant für Latenz, Durchsatz, Speicherbedarf und Betriebskosten produktiver KI-Anwendungen.
Beispiel aus dem Mittelstand
Ein Unternehmen exportiert ein Modell in ONNX und vergleicht die Laufzeit mit einer optimierten Runtime auf CPU und GPU.
Grenzen und Fallstricke
- Engine und Modell verwechseln; numerische Änderungen durch Optimierungen nicht testen; Hardwareabhängigkeiten ignorieren.
Entstehung & Geschichte
ONNX Runtime überführt Modelle in eine Graphrepräsentation, optimiert sie und verteilt ihre Ausführung auf geeignete Execution Provider.
Anwendung im Mittelstand
- Mögliche Anwendungen: API-Serving, Edge-Inferenz, Batchverarbeitung und beschleunigte LLM-Ausführung.
Häufige Fragen
Ändert eine Engine das Modell?
Sie kann Graphen und Datentypen optimieren, sollte aber die fachlich akzeptierte Ausgabequalität erhalten. Ist jede Engine für jedes Modell geeignet? Nein.
Quellen
- High-level design · ONNX Runtime, High-level design
Quellenprüfung: 11.10.2026.
Redaktionell geprüft am: