2 Beiträge mit dem Tag "thinking content"

Dies sind die Änderungen seit v1.63.11-stable.

Diese Version bringt

• LLM-Übersetzungsverbesserungen (MCP-Unterstützung und Bedrock Application Profiles)
• Leistungsverbesserungen für nutzungsbasiertes Routing
• Streaming-Guardrail-Unterstützung über WebSockets
• Azure OpenAI Client-Leistungsfix (aus der vorherigen Version)

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.14-stable.patch1

Demo-Instanz​

Hier ist eine Demo-Instanz, um Änderungen zu testen

• Instanz: https://demo.litellm.ai/
• Anmeldedaten
  • Benutzername: admin
  • Passwort: sk-1234

Neue Modelle / Aktualisierte Modelle​

• Azure gpt-4o - Preise auf die neuesten globalen Preise korrigiert - PR
• O1-Pro - Preise + Modellinformationen hinzugefügt - PR
• Azure AI - Mistral 3.1 Small-Preise hinzugefügt - PR
• Azure - gpt-4.5-preview-Preise hinzugefügt - PR

LLM-Übersetzung​

1. Neue LLM-Funktionen

• Bedrock: Bedrock Application Inference Profiles unterstützen. Dokumentation
  • AWS-Region aus Bedrock Application Profile ID ableiten - (arn:aws:bedrock:us-east-1:...)
• Ollama - Aufruf über `/v1/completions` unterstützen. Erste Schritte
• Bedrock - Modellnamen `us.deepseek.r1-v1:0` unterstützen. Dokumentation
• OpenRouter - `OPENROUTER_API_BASE` Umgebungsvariablen-Unterstützung. Dokumentation
• Azure - Parameterunterstützung für Audiomodelle hinzugefügt - Dokumentation
• OpenAI - PDF-Dateiunterstützung. Dokumentation
• OpenAI - `o1-pro` Streaming-Unterstützung für Antworten-API. Dokumentation
• [BETA]MCP - MCP-Tools mit LiteLLM SDK verwenden. Dokumentation

2. Fehlerbehebungen

• Voyage: Prompt-Token bei Embedding-Tracking-Fix - PR
• Sagemaker - Fehler 'Too little data for declared Content-Length' korrigiert - PR
• OpenAI-kompatible Modelle - Problem bei Aufrufen von OpenAI-kompatiblen Modellen mit gesetztem `custom_llm_provider` behoben - PR
• VertexAI - Unterstützung für 'outputDimensionality' bei Embeddings - PR
• Anthropic - konsistentes JSON-Antwortformat bei Streaming/Nicht-Streaming zurückgeben - PR

Verbesserungen bei der Ausgabenverfolgung​

• litellm_proxy/ - Lesen des LiteLLM-Antwortkost-Headers vom Proxy unterstützen, wenn das Client-SDK verwendet wird
• Reset Budget Job - Budget-Reset-Fehler bei Schlüsseln/Teams/Benutzern korrigiert. PR
• Streaming - Verhindert, dass der letzte Chunk mit Nutzung ignoriert wird (betraf Bedrock Streaming + Kostenverfolgung). PR

UI​

1. Benutzerseite
   • Funktion: Standard-Internen-Benutzereinstellungen steuern. PR
2. Icons
   • Funktion: Externe "artificialanalysis.ai"-Icons durch lokale SVGs ersetzen. PR
3. Anmelden/Abmelden
   • Fix: Standard-Login, wenn der Benutzer `default_user_id` nicht in der DB existiert. PR

Logging-Integrationen​

• Unterstützung für Post-Call-Guardrails für Streaming-Antworten. Erste Schritte
• Arize. Erste Schritte
  • Ungültigen Paketimport behoben. PR
  • Migration zur Verwendung von `StandardLoggingPayload` für Metadaten, um sicherzustellen, dass Spans erfolgreich landen. PR
  • Logging korrigiert, um nur die LLM-Ein-/Ausgaben zu protokollieren. PR
  • Dynamische API-Key-/Space-Parameterunterstützung. Erste Schritte
• StandardLoggingPayload - `litellm_model_name` in der Payload protokollieren. Ermöglicht die Kenntnis des Modells, das an den API-Anbieter gesendet wurde. Erste Schritte
• Prompt-Management - Erstellung eigener Prompt-Management-Integrationen ermöglichen. Erste Schritte

Leistungs- / Zuverlässigkeitsverbesserungen​

• Redis Caching - Standard-Timeout von 5 Sekunden hinzugefügt, verhindert, dass hängende Redis-Verbindungen LLM-Aufrufe beeinträchtigen. PR
• Deaktivieren aller Ausgaben-Updates / -Schreibvorgänge in die DB ermöglichen - Patch zur Deaktivierung aller Ausgaben-Updates in die DB mit einem Flag. PR
• Azure OpenAI - Azure OpenAI Client korrekt wiederverwenden, behebt Leistungsprobleme aus der vorherigen Stable-Version. PR
• Azure OpenAI - `litellm.ssl_verify` bei Azure/OpenAI Clients verwenden. PR
• Nutzungsbasiertes Routing - Wildcard-Modell-Unterstützung. Erste Schritte
• Nutzungsbasiertes Routing - Batch-Schreiben von Inkrementen nach Redis unterstützen - reduziert die Latenz auf das Niveau von 'simple-shuffle'. PR
• Router - Grund für die Modellabkühlung bei der Fehlermeldung "no healthy deployments available" anzeigen. PR
• Caching - Maximale Item-Größe im In-Memory-Cache (1 MB) hinzufügen - verhindert OOM-Fehler bei großen Bild-URLs, die über den Proxy gesendet werden. PR

Allgemeine Verbesserungen​

• Passthrough-Endpunkte - Rückgabe von `api-base` in Passthrough-Endpunkt-Antwortheadern unterstützen. Dokumentation
• SSL - Lesen des SSL-Sicherheitslevels aus der Umgebungsvariable unterstützen - Ermöglicht dem Benutzer, niedrigere Sicherheitseinstellungen festzulegen. Erste Schritte
• Anmeldedaten - Nur die Credentials-Tabelle abfragen, wenn `STORE_MODEL_IN_DB` True ist. PR
• Bild-URL-Verarbeitung - Neue Architektur-Dokumentation zur Bild-URL-Verarbeitung. Dokumentation
• OpenAI - Upgrade auf `pip install "openai==1.68.2"`. PR
• Gunicorn - Sicherheitsfix - Bump `gunicorn==23.0.0`. PR

Vollständiger Git-Diff​

Hier ist der vollständige Git-Diff

Dies sind die Änderungen seit v1.63.2-stable.

Diese Version konzentriert sich hauptsächlich auf

• [Beta]Responses API-Unterstützung
• Snowflake Cortex Unterstützung, Amazon Nova Bildgenerierung
• UI - Anmeldedatenverwaltung, Wiederverwendung von Anmeldedaten beim Hinzufügen neuer Modelle
• UI - Testen der Verbindung zum LLM-Anbieter vor dem Hinzufügen eines Modells

Bekannte Probleme​

• 🚨 Bekanntes Problem bei Azure OpenAI - Wir empfehlen kein Upgrade, wenn Sie Azure OpenAI verwenden. Diese Version ist bei unserem Azure OpenAI Lasttest fehlgeschlagen.

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.11-stable

Demo-Instanz​

Hier ist eine Demo-Instanz, um Änderungen zu testen

• Instanz: https://demo.litellm.ai/
• Anmeldedaten
  • Benutzername: admin
  • Passwort: sk-1234

Neue Modelle / Aktualisierte Modelle​

• Bildgenerierungsunterstützung für Amazon Nova Canvas. Erste Schritte
• Preise für neue Jamba-Modelle hinzugefügt. PR
• Preise für Amazon EU-Modelle hinzugefügt. PR
• Preise für Bedrock Deepseek R1-Modelle hinzugefügt. PR
• Gemini-Preise aktualisiert: Gemma 3, Flash 2 Thinking-Update, LearnLM. PR
• Cohere Embedding 3-Modelle als Multimodal markiert. PR
• Azure Data Zone Preisgestaltung hinzufügen PR
  • LiteLLM verfolgt Kosten für Modelle in azure/eu und azure/us

LLM-Übersetzung​

1. Neue Endpunkte

• [Beta]POST /responses API. Erste Schritte

2. Neue LLM-Anbieter

• Snowflake Cortex Erste Schritte

3. Neue LLM-Funktionen

• Unterstützt reasoning_content von OpenRouter beim Streaming Erste Schritte

4. Fehlerbehebungen

• OpenAI: Gibt code, param und type bei fehlerhaften Anfragen zurück Weitere Informationen zu litellm-Ausnahmen
• Bedrock: Korrigiert das Parsen von Converse-Chunks, um bei Tool-Nutzung nur ein leeres Dict zurückzugeben PR
• Bedrock: Unterstützt extra_headers PR
• Azure: Korrigiert Funktionsaufruf-Bug & aktualisiert Standard-API-Version auf 2025-02-01-preview PR
• Azure: Korrigiert URL für KI-Dienste PR
• Vertex AI: Behandelt HTTP-Statuscode 201 in der Antwort PR
• Perplexity: Korrigiert falsche Streaming-Antwort PR
• Triton: Korrigiert Bug bei Streaming-Abschlüssen PR
• Deepgram: Unterstützt Bytes.IO beim Verarbeiten von Audiodateien für Transkriptionen PR
• Ollama: Korrigiert "system"-Rolle, die inakzeptabel geworden ist PR
• Alle Anbieter (Streaming): Korrigiert, dass der String data: aus dem gesamten Inhalt gestreamter Antworten entfernt wurde PR

Verbesserungen bei der Ausgabenverfolgung​

1. Unterstützt Bedrock Converse Cache Token Tracking Erste Schritte
2. Kostenverfolgung für Responses API Erste Schritte
3. Korrigiert Kostenverfolgung für Azure Whisper Erste Schritte

UI​

Anmeldeinformationen in der UI wiederverwenden​

Sie können jetzt LLM-Anbieteranmeldeinformationen in der LiteLLM UI integrieren. Sobald diese Anmeldeinformationen hinzugefügt wurden, können Sie sie beim Hinzufügen neuer Modelle wiederverwenden Erste Schritte

Verbindungen testen, bevor Modelle hinzugefügt werden​

Bevor Sie ein Modell hinzufügen, können Sie die Verbindung zum LLM-Anbieter testen, um zu überprüfen, ob Sie Ihre API-Basis + API-Schlüssel korrekt eingerichtet haben.

Allgemeine UI-Verbesserungen​

1. Modelle hinzufügen-Seite
   • Ermöglicht das Hinzufügen von Cerebras-, Sambanova-, Perplexity-, Fireworks-, Openrouter-, TogetherAI-Modellen, Text-Completion OpenAI im Admin-UI
   • Ermöglicht das Hinzufügen von EU-OpenAI-Modellen
   • Behebung: Bearbeiten und Löschen von Modellen sofort anzeigen
2. Schlüssel-Seite
   • Behebung: Neu erstellte Schlüssel sofort im Admin-UI anzeigen (kein Aktualisieren erforderlich)
   • Behebung: Ermöglicht das Klicken auf Top-Schlüssel, wenn Benutzer den Top-API-Schlüssel angezeigt werden
   • Behebung: Ermöglicht das Filtern von Schlüsseln nach Team-Alias, Schlüssel-Alias und Org
   • UI-Verbesserungen: 100 Schlüssel pro Seite anzeigen, volle Höhe nutzen, Breite des Schlüssel-Alias erhöhen
3. Benutzerseite
   • Behebung: Korrekte Anzahl interner Benutzerschlüssel auf der Benutzerseite anzeigen
   • Behebung: Metadaten werden in der Team-UI nicht aktualisiert
4. Protokolle-Seite
   • UI-Verbesserungen: Erweitertes Protokoll im Fokus auf LiteLLM UI halten
   • UI-Verbesserungen: Kleinere Verbesserungen auf der Protokollseite
   • Behebung: Ermöglicht internen Benutzern, ihre eigenen Protokolle abzufragen
   • Speicherung von Fehlerprotokollen in der DB ausschalten Erste Schritte
5. Anmelden/Abmelden
   • Behebung: Korrekte Verwendung von PROXY_LOGOUT_URL, wenn gesetzt Erste Schritte

Sicherheit​

1. Unterstützung für rotierende Master-Schlüssel Erste Schritte
2. Behebung: Berechtigungen für interne Benutzeransichten, die Rolle internal_user_viewer darf nicht die Test Key Page oder den Create Key Button sehen Weitere Informationen zu rollenbasierter Zugriffskontrolle
3. Audit-Protokolle für alle Benutzer- und Modellerstellungs-/Update-/Lösch-Endpunkte ausgeben Erste Schritte
4. JWT
   • Unterstützung für mehrere JWT OIDC-Anbieter Erste Schritte
   • Behebung: JWT-Zugriff mit Gruppen funktioniert nicht, wenn einem Team Zugriff auf alle Proxy-Modelle zugewiesen ist
5. Verwendung von K/V-Paaren in einem AWS-Secret Erste Schritte

Logging-Integrationen​

1. Prometheus: Metrik für die Latenz der Azure LLM-API verfolgen Erste Schritte
2. Athina: Tags, Benutzerfeedback und Modelloptionen zu additional_keys hinzugefügt, die an Athina gesendet werden können Erste Schritte

Leistungs- / Zuverlässigkeitsverbesserungen​

1. Redis + litellm router - Korrigiert Redis-Cluster-Modus für litellm-Router PR

Allgemeine Verbesserungen​

1. OpenWebUI-Integration - thinking-Token anzeigen

• Anleitung für den Einstieg in LiteLLM x OpenWebUI. Erste Schritte
• thinking-Token auf OpenWebUI anzeigen (Bedrock, Anthropic, Deepseek) Erste Schritte

Vollständiger Git-Diff​

Hier ist der vollständige Git-Diff