Zum Hauptinhalt springen

v1.63.2-stable

Krrish Dholakia
Ishaan Jaffer

Dies sind die Ă„nderungen seit v1.61.20-stable.

Diese Version konzentriert sich hauptsächlich auf

  • Verbesserungen der LLM-Ăśbersetzung (weitere Verbesserungen bei thinking-Inhalten)
  • UI-Verbesserungen (Fehlerprotokolle werden jetzt in der UI angezeigt)
Info

Diese Version wird am 03.09.2025 live gehen.

Demo-Instanz​

Hier ist eine Demo-Instanz, um Ă„nderungen zu testen

Neue Modelle / Aktualisierte Modelle​

  1. supports_pdf_input fĂĽr spezifische Bedrock Claude-Modelle hinzufĂĽgen PR
  2. Preise fĂĽr Amazon eu-Modelle hinzufĂĽgen PR
  3. Azure O1 Mini-Preise korrigieren PR

LLM-Übersetzung​

  1. UnterstĂĽtzt /openai/-Passthrough fĂĽr Assistant-Endpunkte. Erste Schritte
  2. Bedrock Claude - Korrigiert Tool-Calling-Transformation auf dem Invoke-Endpunkt. Erste Schritte
  3. Bedrock Claude - response_format-UnterstĂĽtzung fĂĽr Claude auf dem Invoke-Endpunkt. Erste Schritte
  4. Bedrock - description weitergeben, wenn in response_format gesetzt. Erste Schritte
  5. Bedrock - Korrigiert das Ăśbergeben von response_format: {"type": "text"}. PR
  6. OpenAI - Handhabt das Senden von image_url als String an OpenAI. Erste Schritte
  7. Deepseek - gibt reasoning_content zurĂĽck, das beim Streaming fehlt. Erste Schritte
  8. Caching - UnterstĂĽtzt Caching fĂĽr Reasoning-Inhalte. Erste Schritte
  9. Bedrock - Verarbeitet thinking-Blöcke in der Assistant-Nachricht. Erste Schritte
  10. Anthropic - gibt signature beim Streaming zurĂĽck. Erste Schritte
  • Hinweis: Wir sind auch von signature_delta zu signature migriert. Mehr lesen
  1. UnterstĂĽtzt den Parameter format zur Angabe des Bildtyps. Erste Schritte
  2. Anthropic - Endpunkt /v1/messages - UnterstĂĽtzung fĂĽr den Parameter thinking. Erste Schritte
  • Hinweis: Dies refaktoriert den[BETA]vereinheitlichten /v1/messages-Endpunkt, um nur fĂĽr die Anthropic API zu funktionieren.
  1. Vertex AI - verarbeitet $id im Antwortschema bei Aufruf von Vertex AI. Erste Schritte

Verbesserungen bei der Ausgabenverfolgung​

  1. Batches API - Korrigiert Kostenberechnung fĂĽr die AusfĂĽhrung bei retrieve_batch. Erste Schritte
  2. Batches API - Protokolliert Batch-Modelle in Spend-Protokollen / Standard-Logging-Payload. Erste Schritte

Management Endpunkte / UI​

  1. Virtuelle SchlĂĽssel-Seite
    • Ermöglicht durchsuchbare Team-/Org-Filter auf der Erstellen-SchlĂĽssel-Seite
    • Felder created_by und updated_by zur SchlĂĽssel-Tabelle hinzugefĂĽgt
    • Zeigt 'user_email' in der SchlĂĽssel-Tabelle an
    • 100 SchlĂĽssel pro Seite anzeigen, volle Höhe nutzen, Breite des SchlĂĽssel-Alias erhöhen
  2. Protokolle-Seite
    • Fehlerprotokolle auf der LiteLLM UI anzeigen
    • Internen Benutzern erlauben, ihre eigenen Protokolle anzuzeigen
  3. Interne Benutzer-Seite
    • Administratoren erlauben, den Standardmodellzugriff fĂĽr interne Benutzer zu steuern
  4. Sitzungsverwaltung mit Cookies korrigiert

Logging / Guardrail Integrationen​

  1. Korrigiert Prometheus-Metriken mit benutzerdefinierten Metriken, wenn SchlĂĽssel mit team_id Anfragen stellen. PR

Leistungs-/Loadbalancing-/Zuverlässigkeitsverbesserungen​

  1. Wartezeiten - UnterstĂĽtzt Wartezeiten bei Modellen, die mit clientseitigen Anmeldeinformationen aufgerufen werden. Erste Schritte
  2. Tag-basierte Weiterleitung - stellt tag-basierte Weiterleitung ĂĽber alle Endpunkte sicher (/embeddings, /image_generation, etc.). Erste Schritte

Allgemeine Proxy-Verbesserungen​

  1. Löst BadRequestError aus, wenn ein unbekanntes Modell in der Anfrage übergeben wird
  2. Erzwingt Modellzugriffsbeschränkungen für die Azure OpenAI-Proxy-Route
  3. Zuverlässigkeitskorrektur - Handhabt Emojis in Texten - behebt orjson-Fehler
  4. Modellzugriffs-Patch - ĂĽberschreibt litellm.anthropic_models nicht beim AusfĂĽhren von AuthentifizierungsprĂĽfungen
  5. Zeitzoninforamtionen im Docker-Image einstellen

Vollständiger Git-Diff​

Hier ist der vollständige Git-Diff