3 Beiträge mit dem Tag "reasoning_content"

Dies sind die Änderungen seit v1.61.20-stable.

Diese Version konzentriert sich hauptsächlich auf

• Verbesserungen der LLM-Übersetzung (weitere Verbesserungen bei thinking-Inhalten)
• UI-Verbesserungen (Fehlerprotokolle werden jetzt in der UI angezeigt)

Demo-Instanz​

Hier ist eine Demo-Instanz, um Änderungen zu testen

• Instanz: https://demo.litellm.ai/
• Anmeldedaten
  • Benutzername: admin
  • Passwort: sk-1234

Neue Modelle / Aktualisierte Modelle​

1. supports_pdf_input für spezifische Bedrock Claude-Modelle hinzufügen PR
2. Preise für Amazon eu-Modelle hinzufügen PR
3. Azure O1 Mini-Preise korrigieren PR

LLM-Übersetzung​

1. Unterstützt /openai/-Passthrough für Assistant-Endpunkte. Erste Schritte
2. Bedrock Claude - Korrigiert Tool-Calling-Transformation auf dem Invoke-Endpunkt. Erste Schritte
3. Bedrock Claude - response_format-Unterstützung für Claude auf dem Invoke-Endpunkt. Erste Schritte
4. Bedrock - description weitergeben, wenn in response_format gesetzt. Erste Schritte
5. Bedrock - Korrigiert das Übergeben von response_format: {"type": "text"}. PR
6. OpenAI - Handhabt das Senden von image_url als String an OpenAI. Erste Schritte
7. Deepseek - gibt reasoning_content zurück, das beim Streaming fehlt. Erste Schritte
8. Caching - Unterstützt Caching für Reasoning-Inhalte. Erste Schritte
9. Bedrock - Verarbeitet thinking-Blöcke in der Assistant-Nachricht. Erste Schritte
10. Anthropic - gibt signature beim Streaming zurück. Erste Schritte

• Hinweis: Wir sind auch von signature_delta zu signature migriert. Mehr lesen

11. Unterstützt den Parameter format zur Angabe des Bildtyps. Erste Schritte
12. Anthropic - Endpunkt /v1/messages - Unterstützung für den Parameter thinking. Erste Schritte

• Hinweis: Dies refaktoriert den[BETA]vereinheitlichten /v1/messages-Endpunkt, um nur für die Anthropic API zu funktionieren.

13. Vertex AI - verarbeitet $id im Antwortschema bei Aufruf von Vertex AI. Erste Schritte

Verbesserungen bei der Ausgabenverfolgung​

1. Batches API - Korrigiert Kostenberechnung für die Ausführung bei retrieve_batch. Erste Schritte
2. Batches API - Protokolliert Batch-Modelle in Spend-Protokollen / Standard-Logging-Payload. Erste Schritte

Management Endpunkte / UI​

1. Virtuelle Schlüssel-Seite
   • Ermöglicht durchsuchbare Team-/Org-Filter auf der Erstellen-Schlüssel-Seite
   • Felder created_by und updated_by zur Schlüssel-Tabelle hinzugefügt
   • Zeigt 'user_email' in der Schlüssel-Tabelle an
   • 100 Schlüssel pro Seite anzeigen, volle Höhe nutzen, Breite des Schlüssel-Alias erhöhen
2. Protokolle-Seite
   • Fehlerprotokolle auf der LiteLLM UI anzeigen
   • Internen Benutzern erlauben, ihre eigenen Protokolle anzuzeigen
3. Interne Benutzer-Seite
   • Administratoren erlauben, den Standardmodellzugriff für interne Benutzer zu steuern
4. Sitzungsverwaltung mit Cookies korrigiert

Logging / Guardrail Integrationen​

1. Korrigiert Prometheus-Metriken mit benutzerdefinierten Metriken, wenn Schlüssel mit team_id Anfragen stellen. PR

Leistungs-/Loadbalancing-/Zuverlässigkeitsverbesserungen​

1. Wartezeiten - Unterstützt Wartezeiten bei Modellen, die mit clientseitigen Anmeldeinformationen aufgerufen werden. Erste Schritte
2. Tag-basierte Weiterleitung - stellt tag-basierte Weiterleitung über alle Endpunkte sicher (/embeddings, /image_generation, etc.). Erste Schritte

Allgemeine Proxy-Verbesserungen​

1. Löst BadRequestError aus, wenn ein unbekanntes Modell in der Anfrage übergeben wird
2. Erzwingt Modellzugriffsbeschränkungen für die Azure OpenAI-Proxy-Route
3. Zuverlässigkeitskorrektur - Handhabt Emojis in Texten - behebt orjson-Fehler
4. Modellzugriffs-Patch - überschreibt litellm.anthropic_models nicht beim Ausführen von Authentifizierungsprüfungen
5. Zeitzoninforamtionen im Docker-Image einstellen

Vollständiger Git-Diff​

Hier ist der vollständige Git-Diff

v1.63.0 behebt die Anthropic 'thinking'-Antwort beim Streaming, um den signature-Block zurückzugeben. Github-Problem

Außerdem wird die Antwortstruktur von signature_delta zu signature geändert, um mit Anthropic übereinzustimmen. Anthropic Docs

Diff​

"message": {
    ...
    "reasoning_content": "The capital of France is Paris.",
    "thinking_blocks": [
        {
            "type": "thinking",
            "thinking": "The capital of France is Paris.",
-            "signature_delta": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 OLD FORMAT
+            "signature": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 KEY CHANGE
        }
    ]
}

Dies sind die Änderungen seit v1.61.13-stable.

Diese Version konzentriert sich hauptsächlich auf

• Verbesserungen der LLM-Übersetzung (Unterstützung für claude-3-7-sonnet + 'thinking'/'reasoning_content')
• UI-Verbesserungen (Modell-Hinzufügen-Fluss, Benutzerverwaltung usw.)

Demo-Instanz​

Hier ist eine Demo-Instanz, um Änderungen zu testen

• Instanz: https://demo.litellm.ai/
• Anmeldedaten
  • Benutzername: admin
  • Passwort: sk-1234

Neue Modelle / Aktualisierte Modelle​

1. Unterstützung für Anthropic 3-7 sonnet + Kostenverfolgung (Anthropic API + Bedrock + Vertex AI + OpenRouter)
   1. Anthropic API Hier starten
   2. Bedrock API Hier starten
   3. Vertex AI API Hier ansehen
   4. OpenRouter Hier ansehen
2. Unterstützung für Gpt-4.5-preview + Kostenverfolgung Hier ansehen
3. Azure AI - Phi-4 Kostenverfolgung Hier ansehen
4. Claude-3.5-sonnet - Vision-Unterstützung auf Anthropic API aktualisiert Hier ansehen
5. Bedrock Llama Vision-Unterstützung Hier ansehen
6. Cerebras llama3.3-70b Preisgestaltung Hier ansehen

LLM-Übersetzung​

1. Infinity Rerank - Unterstützt die Rückgabe von Dokumenten, wenn return_documents=True Hier starten
2. Amazon Deepseek - Extraktion des <think>-Parameters in 'reasoning_content' Hier starten
3. Amazon Titan Embeddings - Filtert 'aws_'-Parameter aus dem Anfragekörper heraus Hier starten
4. Anthropic 'thinking' + 'reasoning_content' Übersetzungsunterstützung (Anthropic API, Bedrock, Vertex AI) Hier starten
5. VLLM - unterstützt 'video_url' Hier starten
6. Proxy über litellm SDK aufrufen: Unterstützt litellm_proxy/ für Embeddings, Bilderzeugung, Transkription, Sprache, Reranking Hier starten
7. OpenAI Pass-through - Ermöglicht die Verwendung von Assistants GET, DELETE auf /openai Pass-through-Routen Hier starten
8. Nachrichtenübersetzung - Korrigiert OpenAI-Nachricht für Assistant-Nachrichten, wenn die Rolle fehlt - OpenAI erlaubt dies
9. O1/O3 - unterstützt 'drop_params' für o3-mini und den o1 parallel_tool_calls-Parameter (derzeit nicht unterstützt) Hier ansehen

Verbesserungen bei der Ausgabenverfolgung​

1. Kostenverfolgung für Rerank über Bedrock PR ansehen
2. Anthropic Pass-through - behebt Race Condition, die dazu führt, dass Kosten nicht verfolgt werden PR ansehen
3. Anthropic Pass-through: Genaue Tokenzählung sicherstellen PR ansehen

Management Endpunkte / UI​

1. Modellseite - Modelle nach "erstellt am" sortieren
2. Modellseite - Verbesserungen des Modell-Bearbeitungsflusses
3. Modellseite - Behebung des Hinzufügens von Azure-, Azure AI Studio-Modellen in der UI
4. Interne Benutzerseite - Massenhaftes Hinzufügen von internen Benutzern in der UI ermöglichen
5. Interne Benutzerseite - Benutzer nach "erstellt am" sortieren
6. Virtuelle Schlüssel-Seite - Benutzer-IDs auf dem Dropdown-Menü beim Zuweisen eines Benutzers zu einem Team durchsuchbar machen PR ansehen
7. Virtuelle Schlüssel-Seite - Ermöglicht das Erstellen eines Benutzers bei der Zuweisung von Schlüsseln an Benutzer PR ansehen
8. Model Hub-Seite - Problem mit Textüberlauf behoben PR ansehen
9. Admin-Einstellungen-Seite - MSFT SSO in der UI hinzufügen
10. Backend - doppelte interne Benutzer in der DB nicht erstellen

Helm​

1. unterstützt ttlSecondsAfterFinished für den Migrationsjob - PR ansehen
2. Migrationsjob mit zusätzlichen konfigurierbaren Eigenschaften verbessern - PR ansehen

Logging / Guardrail Integrationen​

1. Arize Phoenix Unterstützung
2. 'no-log' - Korrigiert die Unterstützung des 'no-log'-Parameters bei Embedding-Aufrufen

Leistungs-/Loadbalancing-/Zuverlässigkeitsverbesserungen​

1. Single Deployment Cooldown-Logik - Verwendet allowed_fails oder allowed_fail_policy, falls gesetzt Hier starten

Allgemeine Proxy-Verbesserungen​

1. Hypercorn - Korrigiert das Lesen/Parsen des Anfragekörpers
2. Windows - Korrigiert das Ausführen des Proxys unter Windows
3. DD-Trace - Korrigiert die Aktivierung von dd-trace im Proxy

Vollständiger Git-Diff​

Vollständiges Git-Diff hier ansehen hier.