LiteLLM
Definition
LiteLLM bündelt Zugriffe auf viele Modellanbieter hinter einem OpenAI-kompatiblen Endpunkt und ergänzt Routing, Budgets und Schutzregeln.
LiteLLM ist ein selbst betreibbares KI-Gateway. Anwendungen senden Anfragen an einen einheitlichen OpenAI-kompatiblen Endpunkt; das Gateway leitet sie an konfigurierte Modellanbieter weiter und kann Zugriff, Kosten, Ratenlimits, Fallbacks, Protokollierung und Guardrails zentral steuern.
Einfach erklärt
Wie eine Telefonzentrale nimmt LiteLLM Anfragen an einer Nummer entgegen und verbindet sie nach Regeln mit dem passenden Modellanbieter. Anders als eine Telefonzentrale gleicht das Gateway die Fähigkeiten der verbundenen Modelle nicht an.
Warum das im Alltag wichtig ist
Ein gemeinsamer Gateway-Layer verringert anwendungsseitige Unterschiede zwischen Anbietern und schafft einen zentralen Kontrollpunkt. Das erleichtert Anbieterwechsel, Kostenkontrolle und betriebliche Richtlinien, erhöht aber zugleich die Bedeutung des Gateways für Verfügbarkeit und Sicherheit.
Beispiel aus dem Mittelstand
Beispiel (hypothetisch): Ein Unternehmen lässt drei interne Anwendungen denselben Gateway nutzen und hinterlegt pro Team eigene Modellfreigaben, Budgets und Fallbacks.
Grenzen und Fallstricke
- Das Gateway ist ein kritischer Infrastrukturbaustein und muss abgesichert, überwacht und hochverfügbar betrieben werden. Ein einheitliches API-Format bedeutet außerdem nicht, dass Modelle identische Fähigkeiten, Datenregeln oder Antwortqualität haben.
Entstehung & Geschichte
Die Projektdokumentation beschreibt LiteLLM als selbst gehosteten Server mit einem OpenAI-kompatiblen Endpunkt für mehr als hundert LLM-Anbieter sowie Funktionen für Zugriff, Kosten, Zuverlässigkeit, Guardrails und Logging.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand: Mehrere KI-Anwendungen können Anbieterzugänge, Budgets, Protokollierung und Ausweichmodelle über einen gemeinsamen kontrollierten Endpunkt nutzen.
Häufige Fragen
Was ist LiteLLM?
Ein selbst betreibbares Gateway mit OpenAI-kompatiblem Endpunkt für viele Modellanbieter.
Muss Anwendungscode bei einem Anbieterwechsel geändert werden?
Bei kompatiblen Endpunkten kann der Gateway Anbieter wechseln, dennoch müssen Unterschiede der Modelle getestet werden.
Welche Kontrollen bietet das Gateway?
Die Dokumentation nennt unter anderem virtuelle Schlüssel, Budgets, Ratenlimits, Fallbacks, Guardrails und Logging.
Quellen
- LiteLLM AI Gateway · BerriAI (o. J.): LiteLLM AI Gateway
Quellen geprüft am 26.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: