Einsatz in großem Umfang (1 Mio.+ Zeilen in DB)

Dieses Dokument ist eine Anleitung zur Verwendung von LiteLLM Proxy, sobald Sie die 1-Million-Zeilen-Marke in der LiteLLM Spend Logs Database überschritten haben.

Warum ist die UI-Nutzungsverfolgung deaktiviert?

• Schwere Datenbankabfragen an LiteLLM_Spend_Logs (wenn diese mehr als 1 Mio. Zeilen enthält) können Ihre LLM API-Anfragen verlangsamen. Das wollen wir nicht.

Lösungen für die Nutzungsverfolgung

Schritt 1. Protokolle in Cloud-Speicher exportieren

• Senden Sie Protokolle an S3, GCS oder Azure Blob Storage.
• Spezifikation des Protokollformats

Schritt 2. Daten analysieren

• Verwenden Sie Tools wie Redash, Databricks, Snowflake zur Analyse der exportierten Protokolle.

[Optional]Schritt 3. Ausgaben- und Fehlerprotokolle in die LiteLLM-DB deaktivieren

Anweisungen hier finden

Wenn Sie dies deaktivieren, wird verhindert, dass Ihre LiteLLM-DB größer wird, was die Leistung verbessert (verhindert, dass Integritätsprüfungen fehlschlagen).

Benötigen Sie eine Integration? Nehmen Sie Kontakt auf

• Fordern Sie eine Protokollierungsfunktion auf Github Issues an.
• Nehmen Sie Kontakt mit den LiteLLM-Gründern auf.
• Erhalten Sie hier eine 7-tägige kostenlose Testversion von LiteLLM hier.