Inferenz als Dienstleistung
Definition
Inferenz als Dienstleistung stellt die Ausführung trainierter Modelle über einen Dienst bereit.
Inferenz als Dienstleistung bedeutet hier, Vorhersagen eines trainierten Modells über eine getrennte Dienstschnittstelle abzurufen. Die Anwendung ruft den Vorhersagedienst auf, statt die Modellausführung unmittelbar in ihren eigenen Ablauf einzubauen.
Einfach erklärt
Wie eine Anfrage an eine Fachstelle: Die Anwendung schickt Eingaben und erhält Ergebnisse zurück. Die Fachstelle ist hier aber Software, keine unabhängig urteilende Person.
Warum das im Alltag wichtig ist
Bei einer Architekturentscheidung sollten die Dienstschnittstelle und die Anforderungen an Antwortzeit und Auslastung ausdrücklich beschrieben werden.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Eine interne Anwendung sendet freigegebene Merkmale an einen Vorhersagedienst und zeigt das Ergebnis zur fachlichen Bewertung an.
Grenzen und Fallstricke
- Ein Vorhersagedienst ist nicht automatisch ein öffentliches Bezahlangebot. Die zitierte Clipper-Architektur belegt die technische Diensttrennung, keine bestimmten Tarife oder Vertragsleistungen.
Entstehung & Geschichte
Die zitierte Clipper-Fassung von 2017 beschreibt einen modularen Vorhersagedienst zwischen Anwendungen und verschiedenen Modellframeworks.
Anwendung im Mittelstand
- Denkbare Einsatzfelder sind interne Such- und Klassifikationsanwendungen, die einen gemeinsam betriebenen Vorhersagedienst aufrufen.
Häufige Fragen
Wird bei jedem Aufruf das Modell trainiert?
Der beschriebene Dienst stellt Modellvorhersagen bereit, nicht das Training als Anfrageergebnis.
Muss der Dienst bei einem externen Anbieter liegen?
Die technische Diensttrennung legt keinen bestimmten Betreiber fest.
Quellen
- Clipper: A Low-Latency Online Prediction Serving System · Crankshaw et al. (2017): Clipper: A Low-Latency Online Prediction Serving System
Redaktionell geprüft am: