Beobachtbarkeit von Sprachmodellen
Definition
LLM Observability macht Modellaufrufe, Toolcalls, Latenz, Tokenverbrauch, Fehler und relevante Qualitätsdaten nachvollziehbar.
Sie erweitert klassische Observability um GenAI-spezifische Signale. Prompt- und Antwortinhalte können sensibel sein und sollten nicht pauschal protokolliert werden.
Einfach erklärt
Wie Traces und Messinstrumente für den gesamten Weg einer KI-Anfrage.
Warum das im Alltag wichtig ist
Relevant für Debugging, Kosten, Zuverlässigkeit und produktive Agenten.
Beispiel aus dem Mittelstand
Ein Trace zeigt Modellaufruf, Retrieval, zwei Toolcalls, Tokenverbrauch und einen Retry.
Grenzen und Fallstricke
- Prompts mit personenbezogenen Daten unkontrolliert loggen; nur Kosten messen; keine Trace-Korrelation über Tools hinweg.
Entstehung & Geschichte
OpenTelemetry entwickelt GenAI-Semantikkonventionen für Modell- und Agententelemetrie; der Standardbereich ist weiterhin in Entwicklung.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Traces, Metriken und datenschutzgerechte Logs für produktive KI-Flows einführen.
Häufige Fragen
Ist LLM Observability nur Logging?
Nein. Müssen Inhalte aufgezeichnet werden? Nein, oft reichen Metadaten.
Quellen
- OpenTelemetry GenAI Observability (2026) · OpenTelemetry GenAI Observability (2026)
- Semantic Conventions · Semantic Conventions
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: