Inferenz direkt auf dem Gerät
Definition
Ein trainiertes Modell wird direkt auf dem Endgerät ausgeführt.
Die Berechnung der Vorhersage erfolgt etwa auf Smartphone, PC oder eingebettetem Gerät. Training und ergänzende Dienste können dennoch anderswo stattfinden.
Einfach erklärt
Das Gerät beantwortet die Aufgabe mit seinem eigenen KI-Motor.
Warum das im Alltag wichtig ist
Das kann Netzwerkabhängigkeit und Datenübertragung verringern.
Beispiel aus dem Mittelstand
Fiktiv: Ein Gerät erkennt ein Aktivierungswort, ohne jede Audioaufnahme zu übertragen.
Grenzen und Fallstricke
- Speicher, Energieverbrauch und Modellgröße begrenzen die Möglichkeiten.
Entstehung & Geschichte
Der Ansatz gehört zu Edge Computing und eingebetteter KI.
Anwendung im Mittelstand
- KMU können lokale Verarbeitung für mobile oder offlinefähige Anwendungen prüfen.
Häufige Fragen
Ist On-Device automatisch vollständig offline?
Nur wenn auch alle benötigten Zusatzfunktionen lokal verfügbar sind.
Quellen
- LiteRT — · Google AI Edge: LiteRT —
Redaktionell geprüft am: