📄️ Router - Lastenausgleich
LiteLLM verwaltet
📄️ [BETA] Anfragepriorisierung
Beta-Funktion. Nur zum Testen verwenden.
📄️ Proxy - Lastenausgleich
Mehrere Instanzen desselben Modells load-balancen
📄️ Fallbacks
Wenn ein Aufruf nach num_retries fehlschlägt, auf eine andere Modellgruppe zurückgreifen.
📄️ Timeouts
Das im Router gesetzte Timeout gilt für die gesamte Dauer des Aufrufs und wird auch an die completion()-Aufrufebene weitergegeben.
📄️ Tag-basiertes Routing
Anfragen anhand von Tags routen.
📄️ Budget-Routing
LiteLLM unterstützt das Festlegen der folgenden Budgets
📄️ Anbieterspezifisches Wildcard-Routing
Alle Modelle eines Anbieters proxyen