Zum Hauptinhalt springen

v1.63.11-stable

Krrish Dholakia
Ishaan Jaffer

Dies sind die Ă„nderungen seit v1.63.2-stable.

Diese Version konzentriert sich hauptsächlich auf

  • [Beta]Responses API-UnterstĂĽtzung
  • Snowflake Cortex UnterstĂĽtzung, Amazon Nova Bildgenerierung
  • UI - Anmeldedatenverwaltung, Wiederverwendung von Anmeldedaten beim HinzufĂĽgen neuer Modelle
  • UI - Testen der Verbindung zum LLM-Anbieter vor dem HinzufĂĽgen eines Modells

Bekannte Probleme​

  • 🚨 Bekanntes Problem bei Azure OpenAI - Wir empfehlen kein Upgrade, wenn Sie Azure OpenAI verwenden. Diese Version ist bei unserem Azure OpenAI Lasttest fehlgeschlagen.

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.11-stable

Demo-Instanz​

Hier ist eine Demo-Instanz, um Ă„nderungen zu testen

Neue Modelle / Aktualisierte Modelle​

  • BildgenerierungsunterstĂĽtzung fĂĽr Amazon Nova Canvas. Erste Schritte
  • Preise fĂĽr neue Jamba-Modelle hinzugefĂĽgt. PR
  • Preise fĂĽr Amazon EU-Modelle hinzugefĂĽgt. PR
  • Preise fĂĽr Bedrock Deepseek R1-Modelle hinzugefĂĽgt. PR
  • Gemini-Preise aktualisiert: Gemma 3, Flash 2 Thinking-Update, LearnLM. PR
  • Cohere Embedding 3-Modelle als Multimodal markiert. PR
  • Azure Data Zone Preisgestaltung hinzufĂĽgen PR
    • LiteLLM verfolgt Kosten fĂĽr Modelle in azure/eu und azure/us

LLM-Übersetzung​

  1. Neue Endpunkte
  1. Neue LLM-Anbieter
  1. Neue LLM-Funktionen
  • UnterstĂĽtzt reasoning_content von OpenRouter beim Streaming Erste Schritte
  1. Fehlerbehebungen
  • OpenAI: Gibt code, param und type bei fehlerhaften Anfragen zurĂĽck Weitere Informationen zu litellm-Ausnahmen
  • Bedrock: Korrigiert das Parsen von Converse-Chunks, um bei Tool-Nutzung nur ein leeres Dict zurĂĽckzugeben PR
  • Bedrock: UnterstĂĽtzt extra_headers PR
  • Azure: Korrigiert Funktionsaufruf-Bug & aktualisiert Standard-API-Version auf 2025-02-01-preview PR
  • Azure: Korrigiert URL fĂĽr KI-Dienste PR
  • Vertex AI: Behandelt HTTP-Statuscode 201 in der Antwort PR
  • Perplexity: Korrigiert falsche Streaming-Antwort PR
  • Triton: Korrigiert Bug bei Streaming-AbschlĂĽssen PR
  • Deepgram: UnterstĂĽtzt Bytes.IO beim Verarbeiten von Audiodateien fĂĽr Transkriptionen PR
  • Ollama: Korrigiert "system"-Rolle, die inakzeptabel geworden ist PR
  • Alle Anbieter (Streaming): Korrigiert, dass der String data: aus dem gesamten Inhalt gestreamter Antworten entfernt wurde PR

Verbesserungen bei der Ausgabenverfolgung​

  1. UnterstĂĽtzt Bedrock Converse Cache Token Tracking Erste Schritte
  2. Kostenverfolgung fĂĽr Responses API Erste Schritte
  3. Korrigiert Kostenverfolgung fĂĽr Azure Whisper Erste Schritte

UI​

Anmeldeinformationen in der UI wiederverwenden​

Sie können jetzt LLM-Anbieteranmeldeinformationen in der LiteLLM UI integrieren. Sobald diese Anmeldeinformationen hinzugefügt wurden, können Sie sie beim Hinzufügen neuer Modelle wiederverwenden Erste Schritte

Verbindungen testen, bevor Modelle hinzugefügt werden​

Bevor Sie ein Modell hinzufügen, können Sie die Verbindung zum LLM-Anbieter testen, um zu überprüfen, ob Sie Ihre API-Basis + API-Schlüssel korrekt eingerichtet haben.

Allgemeine UI-Verbesserungen​

  1. Modelle hinzufĂĽgen-Seite
    • Ermöglicht das HinzufĂĽgen von Cerebras-, Sambanova-, Perplexity-, Fireworks-, Openrouter-, TogetherAI-Modellen, Text-Completion OpenAI im Admin-UI
    • Ermöglicht das HinzufĂĽgen von EU-OpenAI-Modellen
    • Behebung: Bearbeiten und Löschen von Modellen sofort anzeigen
  2. SchlĂĽssel-Seite
    • Behebung: Neu erstellte SchlĂĽssel sofort im Admin-UI anzeigen (kein Aktualisieren erforderlich)
    • Behebung: Ermöglicht das Klicken auf Top-SchlĂĽssel, wenn Benutzer den Top-API-SchlĂĽssel angezeigt werden
    • Behebung: Ermöglicht das Filtern von SchlĂĽsseln nach Team-Alias, SchlĂĽssel-Alias und Org
    • UI-Verbesserungen: 100 SchlĂĽssel pro Seite anzeigen, volle Höhe nutzen, Breite des SchlĂĽssel-Alias erhöhen
  3. Benutzerseite
    • Behebung: Korrekte Anzahl interner BenutzerschlĂĽssel auf der Benutzerseite anzeigen
    • Behebung: Metadaten werden in der Team-UI nicht aktualisiert
  4. Protokolle-Seite
    • UI-Verbesserungen: Erweitertes Protokoll im Fokus auf LiteLLM UI halten
    • UI-Verbesserungen: Kleinere Verbesserungen auf der Protokollseite
    • Behebung: Ermöglicht internen Benutzern, ihre eigenen Protokolle abzufragen
    • Speicherung von Fehlerprotokollen in der DB ausschalten Erste Schritte
  5. Anmelden/Abmelden
    • Behebung: Korrekte Verwendung von PROXY_LOGOUT_URL, wenn gesetzt Erste Schritte

Sicherheit​

  1. UnterstĂĽtzung fĂĽr rotierende Master-SchlĂĽssel Erste Schritte
  2. Behebung: Berechtigungen fĂĽr interne Benutzeransichten, die Rolle internal_user_viewer darf nicht die Test Key Page oder den Create Key Button sehen Weitere Informationen zu rollenbasierter Zugriffskontrolle
  3. Audit-Protokolle für alle Benutzer- und Modellerstellungs-/Update-/Lösch-Endpunkte ausgeben Erste Schritte
  4. JWT
    • UnterstĂĽtzung fĂĽr mehrere JWT OIDC-Anbieter Erste Schritte
    • Behebung: JWT-Zugriff mit Gruppen funktioniert nicht, wenn einem Team Zugriff auf alle Proxy-Modelle zugewiesen ist
  5. Verwendung von K/V-Paaren in einem AWS-Secret Erste Schritte

Logging-Integrationen​

  1. Prometheus: Metrik fĂĽr die Latenz der Azure LLM-API verfolgen Erste Schritte
  2. Athina: Tags, Benutzerfeedback und Modelloptionen zu additional_keys hinzugefügt, die an Athina gesendet werden können Erste Schritte

Leistungs- / Zuverlässigkeitsverbesserungen​

  1. Redis + litellm router - Korrigiert Redis-Cluster-Modus fĂĽr litellm-Router PR

Allgemeine Verbesserungen​

  1. OpenWebUI-Integration - thinking-Token anzeigen
  • Anleitung fĂĽr den Einstieg in LiteLLM x OpenWebUI. Erste Schritte
  • thinking-Token auf OpenWebUI anzeigen (Bedrock, Anthropic, Deepseek) Erste Schritte

Vollständiger Git-Diff​

Hier ist der vollständige Git-Diff