v1.67.0-stable - SCIM Integration

Wichtige Highlights

• SCIM-Integration: Ermöglicht Identitätsanbietern (Okta, Azure AD, OneLogin usw.), Benutzer und Teams (Gruppen) automatisch zu provisionieren, zu aktualisieren und zu deprovisionieren
• Team- und Tag-basierte Nutzungsverfolgung: Sie können nun Nutzung und Ausgaben nach Team und Tag bei über 1 Million Ausgabenprotokollen sehen.
• Vereinheitlichte Responses API: Unterstützung für den Aufruf von Anthropic, Gemini, Groq usw. über die neue Responses API von OpenAI.

Tauchen wir ein.

SCIM-Integration

Diese Veröffentlichung fügt SCIM-Unterstützung für LiteLLM hinzu. Dies ermöglicht Ihrem SSO-Anbieter (Okta, Azure AD usw.), Benutzer, Teams und Mitgliedschaften auf LiteLLM automatisch zu erstellen/löschen. Das bedeutet, dass Ihr SSO-Anbieter, wenn Sie ein Team in Ihrem SSO-Anbieter entfernen, das entsprechende Team auf LiteLLM automatisch löschen wird.

Mehr erfahren

Team- und Tag-basierte Nutzungsverfolgung

Diese Veröffentlichung verbessert die team- und tagbasierte Nutzungsverfolgung bei über 1 Million Ausgabenprotokollen, was die Überwachung Ihrer LLM-API-Ausgaben in der Produktion erleichtert. Dies umfasst:

• Tägliche Ausgaben nach Teams + Tags anzeigen
• Nutzung / Ausgaben nach Schlüssel innerhalb von Teams anzeigen
• Ausgaben nach mehreren Tags anzeigen
• Interne Benutzer dazu ermächtigen, die Ausgaben von Teams anzuzeigen, deren Mitglied sie sind

Mehr erfahren

Vereinheitlichte Responses API

Diese Veröffentlichung ermöglicht es Ihnen, Azure OpenAI, Anthropic, AWS Bedrock und Google Vertex AI Modelle über den POST /v1/responses Endpunkt auf LiteLLM aufzurufen. Das bedeutet, dass Sie jetzt beliebte Tools wie OpenAI Codex mit Ihren eigenen Modellen verwenden können.

Mehr erfahren

Neue Modelle / Aktualisierte Modelle

• OpenAI
  1. gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini Preise - Erste Schritte, PR
  2. o4 - o4 korrekt auf OpenAI o_series Modell abbilden
• Azure AI
  1. Korrektur der Phi-4 Ausgabe-Kosten pro Token - PR
  2. Responses API Unterstützung Erste Schritte, PR
• Anthropic
  1. Unterstützung für redigierte Nachrichten (thinking) - Erste Schritte, PR
• Cohere
  1. /v2/chat Passthrough-Endpunktunterstützung mit Kostenverfolgung - Erste Schritte, PR
• Azure
  1. Unterstützung für Azure tenant_id/client_id Umgebungsvariablen - Erste Schritte, PR
  2. Korrektur der 'response_format'-Prüfung für API-Versionen ab 2025 - PR
  3. Preise für gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini hinzufügen
• VLLM
  1. Dateien - Unterstützung für den Nachrichtentyp 'file' für VLLM-Video-URLs - Erste Schritte, PR
  2. Passthrough - neuer /vllm/ Passthrough-Endpunkt unterstützt - Erste Schritte, PR
• Mistral
  1. neuer /mistral Passthrough-Endpunkt unterstützt - Erste Schritte, PR
• AWS
  1. Neu zugeordnete Bedrock-Regionen - PR
• VertexAI / Google AI Studio
  1. Gemini - Antwortformat - Beibehaltung der Schemabeschreibungsreihenfolge für Google Gemini und Vertex durch Angabe von 'propertyOrdering' - Erste Schritte, PR
  2. Gemini-2.5-flash - Rückgabe von Reasoning-Inhalt Google AI Studio, Vertex AI
  3. Gemini-2.5-flash - Preise + Modellinformationen PR
  4. Passthrough - neue Route /vertex_ai/discovery - ermöglicht den Aufruf von AgentBuilder API-Routen Erste Schritte, PR
• Fireworks AI
  1. Gibt Tool-Aufruf-Antworten im Feld 'tool_calls' zurück (Fireworks gibt dies fälschlicherweise als JSON-String im Inhalt zurück) PR
• Triton
  1. Entfernen von festen 'bad_words' / 'stop_words' aus dem '/generate'-Aufruf - Erste Schritte, PR
• Sonstiges
  1. Unterstützung für alle LiteLLM-Provider auf der Responses API (funktioniert mit Codex) - Erste Schritte, PR
  2. Kombination mehrerer Tool-Aufrufe in gestreamter Antwort korrigiert - Erste Schritte, PR

Verbesserungen bei der Ausgabenverfolgung

• Kostenkontrolle - Einfügen von Cache-Kontrollpunkten in den Prompt zur Kostensenkung Erste Schritte, PR
• Spend-Tags - Spend-Tags in Headern - Unterstützung für x-litellm-tags, auch wenn die tagbasierte Weiterleitung nicht aktiviert ist Erste Schritte, PR
• Gemini-2.5-flash - Berechnung der Kosten für Reasoning-Tokens unterstützen PR

Management Endpunkte / UI

• Benutzer

  1. created_at und updated_at auf der Benutzerseite anzeigen - PR

• Virtuelle Schlüssel

  1. Filtern nach Schlüssel-Alias - https://github.com/BerriAI/litellm/pull/10085

• Nutzungs-Tab

  1. Team-basierte Nutzung

     • Neue Tabelle 'LiteLLM_DailyTeamSpend' für aggregierte teambasierte Nutzungsdatenspeicherung - PR

     • Neues teambasiertes Nutzungs-Dashboard + neue API '/team/daily/activity' - PR

     • Team-Alias auf der API '/team/daily/activity' zurückgeben - PR

     • internen Benutzern ermöglichen, Ausgaben für Teams anzuzeigen, zu denen sie gehören - PR

     • Top-Schlüssel pro Team anzeigen lassen - PR

  2. Tag-basierte Nutzung

     • Neue Tabelle 'LiteLLM_DailyTagSpend' für aggregierte tagbasierte Nutzungsdatenspeicherung - PR
     • Auf Proxy-Admins beschränken - PR
     • Top-Schlüssel nach Tag anzeigen lassen
     • In der Anfrage übergebene Tags (d. h. dynamische Tags) auf der '/tag/list'-API zurückgeben - PR

  3. Prompt-Caching-Metriken in täglichen Benutzer-, Team-, Tag-Tabellen verfolgen - PR

  4. Nutzung pro Schlüssel anzeigen (auf allen, Team- und Tag-Nutzungs-Dashboards) - PR

  5. alten Nutzungs-Tab durch neuen Nutzungs-Tab ersetzen

• Modelle

  1. Spalten größenveränderbar/ausblendbar machen - PR

• API-Playground

  1. internem Benutzer erlauben, den API-Playground aufzurufen - PR

• SCIM

  1. LiteLLM SCIM-Integration für Team- und Benutzerverwaltung hinzufügen - Erste Schritte, PR

Logging / Guardrail Integrationen

• GCS
  1. GCS Pub/Sub-Protokollierung mit der Umgebungsvariable GCS_PROJECT_ID korrigieren - Erste Schritte, PR
• AIM
  1. LiteLLM Call-ID-Weiterleitung an Aim-Guardrails bei Pre- und Post-Hook-Aufrufen hinzufügen - Erste Schritte, PR
• Azure Blob Storage
  1. Sicherstellen, dass die Protokollierung in Szenarien mit hohem Durchsatz funktioniert - Erste Schritte, PR

Allgemeine Proxy-Verbesserungen

• Unterstützung für das Setzen von 'litellm.modify_params' über Umgebungsvariable PR
• Modellerkennung - Prüfen Sie die /models Endpunkte des Anbieters beim Aufruf des /v1/models Endpunkts des Proxys - Erste Schritte, PR
• /utils/token_counter - Abrufen des benutzerdefinierten Tokenizers für DB-Modelle korrigiert - Erste Schritte, PR
• Prisma-Migration - Umgang mit vorhandenen Spalten in der DB-Tabelle - PR