Zum Hauptinhalt springen

v1.67.4-stable - Improved User Management

Krrish Dholakia
Ishaan Jaffer

Diese Version bereitstellen​

docker run litellm
docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.67.4-stable

Wichtige Highlights​

  • Verbessertes Benutzermanagement: Diese Veröffentlichung ermöglicht die Suche und Filterung von Benutzern, SchlĂĽsseln, Teams und Modellen.
  • Responses API Load Balancing: Routet Anfragen ĂĽber Provider-Regionen und sorgt fĂĽr Sitzungskontinuität.
  • UI-Sitzungsprotokolle: Gruppiert mehrere Anfragen an LiteLLM zu einer Sitzung.

Verbessertes Benutzermanagement​


Diese Veröffentlichung erleichtert die Verwaltung von Benutzern und Schlüsseln auf LiteLLM. Sie können jetzt Benutzer, Schlüssel, Teams und Modelle durchsuchen und filtern und Benutzereinstellungen einfacher steuern.

Neue Funktionen umfassen

  • Suche nach Benutzern nach E-Mail, ID, Rolle oder Team.
  • Alle Modelle, Teams und SchlĂĽssel eines Benutzers an einem Ort anzeigen.
  • Benutzerrollen und Modellzugriff direkt vom Tab "Benutzer" ändern.

Diese Ă„nderungen helfen Ihnen, weniger Zeit fĂĽr die Einrichtung und Verwaltung von Benutzern auf LiteLLM aufzuwenden.

Responses API Load Balancing​


Diese Veröffentlichung führt Load Balancing für die Responses API ein, wodurch Sie Anfragen über Provider-Regionen leiten und die Sitzungskontinuität gewährleisten können. Es funktioniert wie folgt:

  • Wenn eine previous_response_id angegeben ist, leitet LiteLLM die Anfrage an die ursprĂĽngliche Bereitstellung weiter, die die vorherige Antwort generiert hat - wodurch die Sitzungskontinuität gewährleistet wird.
  • Wenn keine previous_response_id angegeben ist, verteilt LiteLLM die Anfragen auf Ihre verfĂĽgbaren Bereitstellungen.

Mehr erfahren

UI-Sitzungsprotokolle​


Diese Veröffentlichung ermöglicht es Ihnen, Anfragen an den LiteLLM-Proxy zu einer Sitzung zu gruppieren. Wenn Sie eine 'litellm_session_id' in Ihrer Anfrage angeben, gruppiert LiteLLM automatisch alle Protokolle in derselben Sitzung. Dies ermöglicht es Ihnen, die Nutzung und den Anfrageinhalt pro Sitzung einfach zu verfolgen.

Mehr erfahren

Neue Modelle / Aktualisierte Modelle​

  • OpenAI
    1. Kostenverfolgung fĂĽr 'gpt-image-1' hinzugefĂĽgt Erste Schritte
    2. Fehlerbehebung: Kostenverfolgung für gpt-image-1 hinzugefügt, wenn die Qualität nicht angegeben ist PR
  • Azure
    1. Zeitstempel-Granularitäten an Whisper in Azure übergeben, korrigiert Erste Schritte
    2. Preise fĂĽr azure/gpt-image-1 hinzugefĂĽgt Erste Schritte, PR
    3. Kostenverfolgung fĂĽr 'azure/computer-use-preview', 'azure/gpt-4o-audio-preview-2024-12-17', 'azure/gpt-4o-mini-audio-preview-2024-12-17' hinzugefĂĽgt PR
  • Bedrock
    1. UnterstĂĽtzung fĂĽr alle kompatiblen Bedrock-Parameter hinzugefĂĽgt, wenn model="arn:.." (Bedrock-Anwendungsinferenzprofil-Modelle) Erste Schritte, PR
    2. Falsche System-Prompt-Transformation korrigiert PR
  • VertexAI / Google AI Studio
    1. Setzen von 'budget_tokens=0' fĂĽr 'gemini-2.5-flash' zulassen Erste Schritte, PR
    2. Sicherstellen, dass die zurĂĽckgegebene 'usage' die Denk-Token-Nutzung einschlieĂźt PR
    3. Kostenverfolgung fĂĽr 'gemini-2.5-pro-preview-03-25' hinzugefĂĽgt PR
  • Cohere
    1. UnterstĂĽtzung fĂĽr cohere command-a-03-2025 hinzugefĂĽgt Erste Schritte, PR
  • SageMaker
    1. UnterstĂĽtzung fĂĽr den Parameter 'max_completion_tokens' hinzugefĂĽgt Erste Schritte, PR
  • Antworten API
    1. UnterstĂĽtzung fĂĽr GET- und DELETE-Operationen hinzugefĂĽgt - /v1/responses/{response_id} Erste Schritte
    2. SitzungsmanagementunterstĂĽtzung fĂĽr Nicht-OpenAI-Modelle hinzugefĂĽgt PR
    3. Routing-Affinität hinzugefügt, um Modellkonsistenz innerhalb von Sitzungen aufrechtzuerhalten Erste Schritte, PR

Verbesserungen bei der Ausgabenverfolgung​

  • Fehlerbehebung: Fehler bei der Spend-Nachverfolgung behoben, sodass Standard-LiteLLM-Parameter nicht im Speicher geändert werden PR
  • Einstellungstermine: Einstellungstermine fĂĽr Azure-, VertexAI-Modelle hinzugefĂĽgt PR

Management Endpunkte / UI​

Benutzer​

  • Filterung und Suche:

    • Benutzer nach user_id, Rolle, Team, sso_id filtern
    • Benutzer nach E-Mail suchen

  • Benutzerinformationsbereich: Ein neuer Benutzerinformationsbereich wurde hinzugefĂĽgt PR

    • Teams, SchlĂĽssel, Modelle anzeigen, die mit dem Benutzer verbunden sind
    • Benutzerrolle, Modellberechtigungen bearbeiten

Teams​

  • Filterung und Suche:

    • Teams nach Organisation, Team-ID filtern PR
    • Teams nach Teamnamen suchen PR

Schlüssel​

  • SchlĂĽsselverwaltung:
    • UnterstĂĽtzung fĂĽr Kreuzfilterung und Filterung nach SchlĂĽssel-Hash PR
    • SchlĂĽssel-Alias-ZurĂĽcksetzung beim ZurĂĽcksetzen von Filtern korrigiert PR
    • Tabellendarstellung bei SchlĂĽssel-Erstellung korrigiert PR

UI-Protokollseite​

  • Sitzungsprotokolle: UI-Sitzungsprotokolle hinzugefĂĽgt Erste Schritte

UI-Authentifizierung & Sicherheit​

  • Authentifizierung erforderlich: FĂĽr alle Dashboard-Seiten ist jetzt eine Authentifizierung erforderlich PR
  • SSO-Korrekturen: UngĂĽltigen Token-Fehler bei der SSO-Benutzeranmeldung behoben PR
  • [BETA] VerschlĂĽsselte Token: UI auf verschlĂĽsselte Token-Nutzung umgestellt PR
  • Token-Ablauf: Token-Aktualisierung durch erneutes Weiterleiten zur Anmeldeseite unterstĂĽtzt (behebt ein Problem, bei dem ein abgelaufener Token eine leere Seite zeigte) PR

Allgemeine UI-Korrekturen​

  • UI-Flackern behoben: UI-Flackerprobleme im Dashboard behoben PR
  • Verbesserte Terminologie: Bessere Lade- und Keine-Daten-Zustände auf den Seiten fĂĽr SchlĂĽssel und Tools PR
  • Azure-ModellunterstĂĽtzung: Bearbeiten von Azure-öffentlichen Modellnamen und Ă„ndern von Modellnamen nach der Erstellung korrigiert PR
  • Team-Modellauswahl: Fehlerbehebung fĂĽr die Team-Modellauswahl PR

Logging / Guardrail Integrationen​

  • Datadog:
    1. Datadog LLM-Observability-Protokollierung korrigiert Erste Schritte, PR
  • Prometheus / Grafana:
    1. Auswahl der Datenquelle auf der LiteLLM Grafana-Vorlage aktiviert Erste Schritte, PR
  • AgentOps:
    1. AgentOps-Integration hinzugefĂĽgt Erste Schritte, PR
  • Arize:
    1. Fehlende Attribute fĂĽr Arize & Phoenix Integration hinzugefĂĽgt Erste Schritte, PR

Allgemeine Proxy-Verbesserungen​

  • Caching: Caching korrigiert, um 'thinking' oder 'reasoning_effort' bei der Berechnung des Cache-SchlĂĽssels zu berĂĽcksichtigen PR
  • Modellgruppen: Handhabung von Fällen korrigiert, in denen der Benutzer 'model_group' innerhalb von 'model_info' setzt PR
  • Passthrough-Endpunkte: Sichergestellt, dass 'PassthroughStandardLoggingPayload' mit Methode, URL, Anfrage-/Antwortkörper protokolliert wird PR
  • SQL-Injection beheben: Mögliche SQL-Injection-Schwachstelle in 'spend_management_endpoints.py' behoben PR

Helm​

  • serviceAccountName im Migrationsjob korrigiert PR

Vollständige Changelog​

Die vollständige Liste der Änderungen finden Sie in den GitHub Release Notes.