Was wird in der DB gespeichert

Der LiteLLM Proxy verwendet eine PostgreSQL-Datenbank, um verschiedene Informationen zu speichern. Hier sind die Hauptfunktionen, für die die DB verwendet wird:

• Virtuelle Schlüssel, Organisationen, Teams, Benutzer, Budgets und mehr.
• Nutzungsverfolgung pro Anfrage

Link zum DB-Schema

Sie können das vollständige DB-Schema hier einsehen.

DB-Tabellen

Organisationen, Teams, Benutzer, Endbenutzer

Tabellenname	Beschreibung	Häufigkeit von Zeileneinfügungen
LiteLLM_OrganizationTable	Verwaltet organisationsweite Konfigurationen. Verfolgt Ausgaben, Modellzugriff und Metadaten von Organisationen. Verknüpft mit Budgetkonfigurationen und Teams.	Niedrig
LiteLLM_TeamTable	Behandelt teambezogene Einstellungen innerhalb von Organisationen. Verwaltet Teammitglieder, Administratoren und ihre Rollen. Steuert teamsspezifische Budgets, Ratenbegrenzungen und Modellzugriff.	Niedrig
LiteLLM_UserTable	Speichert Benutzerinformationen und deren Einstellungen. Verfolgt individuelle Ausgaben, Modellzugriff und Ratenbegrenzungen von Benutzern. Verwaltet Benutzerrollen und Teamzugehörigkeiten.	Niedrig
LiteLLM_EndUserTable	Verwaltet Endbenutzerkonfigurationen. Steuert Modellzugriff und regionale Anforderungen. Verfolgt die Ausgaben von Endbenutzern.	Niedrig
LiteLLM_TeamMembership	Verfolgt die Teilnahme von Benutzern an Teams. Verwaltet teambezogene Benutzerbudgets und Ausgaben.	Niedrig
LiteLLM_OrganizationMembership	Verwaltet Benutzerrollen innerhalb von Organisationen. Verfolgt organisationsspezifische Benutzerberechtigungen und Ausgaben.	Niedrig
LiteLLM_InvitationLink	Behandelt Benutzereinladungen. Verwaltet Einladungsstatus und Ablaufdatum. Verfolgt, wer Einladungen erstellt und angenommen hat.	Niedrig
LiteLLM_UserNotifications	Behandelt Anfragen für Modellzugriff. Verfolgt Benutzeranfragen für Modellzugriff. Verwaltet den Genehmigungsstatus.	Niedrig

Authentifizierung

Tabellenname	Beschreibung	Häufigkeit von Zeileneinfügungen
LiteLLM_VerificationToken	Verwaltet virtuelle Schlüssel und deren Berechtigungen. Steuert tokenspezifische Budgets, Ratenbegrenzungen und Modellzugriff. Verfolgt keyspezifische Ausgaben und Metadaten.	Mittel - speichert alle virtuellen Schlüssel

Modell- (LLM) Verwaltung

Tabellenname	Beschreibung	Häufigkeit von Zeileneinfügungen
LiteLLM_ProxyModelTable	Speichert Modellkonfigurationen. Definiert verfügbare Modelle und ihre Parameter. Enthält modellspezifische Informationen und Einstellungen.	Niedrig - Nur Konfiguration

Budgetverwaltung

Tabellenname	Beschreibung	Häufigkeit von Zeileneinfügungen
LiteLLM_BudgetTable	Speichert Budget- und Ratenbegrenzungskonfigurationen für Organisationen, Schlüssel und Endbenutzer. Verfolgt maximale Budgets, weiche Budgets, TPM/RPM-Limits und modellspezifische Budgets. Behandelt Budgetdauer und Zurücksetzungszeitpunkte.	Niedrig - Nur Konfiguration

Tracking & Logging

Tabellenname	Beschreibung	Häufigkeit von Zeileneinfügungen
LiteLLM_SpendLogs	Detaillierte Protokolle aller API-Anfragen. Erfasst Tokennutzung, Ausgaben und Zeitinformationen. Verfolgt, welche Modelle und Schlüssel verwendet wurden.	Hoch - jede LLM-API-Anfrage - Erfolg oder Fehler
LiteLLM_AuditLog	Verfolgt Änderungen an der Systemkonfiguration. Erfasst, wer Änderungen vorgenommen hat und was geändert wurde. Führt eine Historie von Aktualisierungen an Teams, Benutzern und Modellen.	Standardmäßig deaktiviert, Hoch - wenn aktiviert

LiteLLM_SpendLogs deaktivieren

Sie können spend_logs und error_logs deaktivieren, indem Sie disable_spend_logs und disable_error_logs in der Sektion general_settings Ihrer proxy_config.yaml-Datei auf True setzen.

general_settings:
  disable_spend_logs: True   # Disable writing spend logs to DB
  disable_error_logs: True   # Only disable writing error logs to DB, regular spend logs will still be written unless `disable_spend_logs: True`

Welche Auswirkungen hat die Deaktivierung dieser Protokolle?

Wenn Ausgabenprotokolle deaktiviert werden (disable_spend_logs: True)

• Sie können die Nutzung in der LiteLLM UI nicht mehr einsehen.
• Sie werden weiterhin Kostenmetriken auf S3, Prometheus, Langfuse (oder anderen von Ihnen verwendeten Protokollintegrationen) sehen.

Wenn Fehlerprotokolle deaktiviert werden (disable_error_logs: True)

• Sie können Fehler in der LiteLLM UI nicht mehr einsehen.
• Sie werden weiterhin Fehlerprotokolle in Ihren Anwendungsprotokollen und anderen von Ihnen verwendeten Protokollintegrationen sehen.

Datenbankmigration

Wenn Sie Datenbanken migrieren müssen, sollten die folgenden Tabellen kopiert werden, um die Fortführung von Diensten und Ausfallzeiten zu gewährleisten.

Tabellenname	Beschreibung
LiteLLM_VerificationToken	Erforderlich, um sicherzustellen, dass bestehende virtuelle Schlüssel weiterhin funktionieren
LiteLLM_UserTable	Erforderlich, um sicherzustellen, dass bestehende virtuelle Schlüssel weiterhin funktionieren
LiteLLM_TeamTable	Erforderlich, um die Migration von Teams sicherzustellen
LiteLLM_TeamMembership	Erforderlich, um die Budgets von Teammitgliedern zu migrieren
LiteLLM_BudgetTable	Erforderlich, um bestehende Budgeteinstellungen zu migrieren
LiteLLM_OrganizationTable	Optional Nur migrieren, wenn Sie Organisationen in der DB verwenden
LiteLLM_OrganizationMembership	Optional Nur migrieren, wenn Sie Organisationen in der DB verwenden
LiteLLM_ProxyModelTable	Optional Nur migrieren, wenn Sie Ihre LLMs in der DB speichern (d.h. Sie setzen STORE_MODEL_IN_DB=True)
LiteLLM_SpendLogs	Optional Nur migrieren, wenn Sie historische Daten in der LiteLLM UI wünschen
LiteLLM_ErrorLogs	Optional Nur migrieren, wenn Sie historische Daten in der LiteLLM UI wünschen