Zum Hauptinhalt springen

v1.61.20-stable

Krrish Dholakia
Ishaan Jaffer

Dies sind die Änderungen seit v1.61.13-stable.

Diese Version konzentriert sich hauptsächlich auf

  • Verbesserungen der LLM-Übersetzung (Unterstützung für claude-3-7-sonnet + 'thinking'/'reasoning_content')
  • UI-Verbesserungen (Modell-Hinzufügen-Fluss, Benutzerverwaltung usw.)

Demo-Instanz​

Hier ist eine Demo-Instanz, um Änderungen zu testen

Neue Modelle / Aktualisierte Modelle​

  1. Unterstützung für Anthropic 3-7 sonnet + Kostenverfolgung (Anthropic API + Bedrock + Vertex AI + OpenRouter)
    1. Anthropic API Hier starten
    2. Bedrock API Hier starten
    3. Vertex AI API Hier ansehen
    4. OpenRouter Hier ansehen
  2. Unterstützung für Gpt-4.5-preview + Kostenverfolgung Hier ansehen
  3. Azure AI - Phi-4 Kostenverfolgung Hier ansehen
  4. Claude-3.5-sonnet - Vision-Unterstützung auf Anthropic API aktualisiert Hier ansehen
  5. Bedrock Llama Vision-Unterstützung Hier ansehen
  6. Cerebras llama3.3-70b Preisgestaltung Hier ansehen

LLM-Übersetzung​

  1. Infinity Rerank - Unterstützt die Rückgabe von Dokumenten, wenn return_documents=True Hier starten
  2. Amazon Deepseek - Extraktion des <think>-Parameters in 'reasoning_content' Hier starten
  3. Amazon Titan Embeddings - Filtert 'aws_'-Parameter aus dem Anfragekörper heraus Hier starten
  4. Anthropic 'thinking' + 'reasoning_content' Übersetzungsunterstützung (Anthropic API, Bedrock, Vertex AI) Hier starten
  5. VLLM - unterstützt 'video_url' Hier starten
  6. Proxy über litellm SDK aufrufen: Unterstützt litellm_proxy/ für Embeddings, Bilderzeugung, Transkription, Sprache, Reranking Hier starten
  7. OpenAI Pass-through - Ermöglicht die Verwendung von Assistants GET, DELETE auf /openai Pass-through-Routen Hier starten
  8. Nachrichtenübersetzung - Korrigiert OpenAI-Nachricht für Assistant-Nachrichten, wenn die Rolle fehlt - OpenAI erlaubt dies
  9. O1/O3 - unterstützt 'drop_params' für o3-mini und den o1 parallel_tool_calls-Parameter (derzeit nicht unterstützt) Hier ansehen

Verbesserungen bei der Ausgabenverfolgung​

  1. Kostenverfolgung für Rerank über Bedrock PR ansehen
  2. Anthropic Pass-through - behebt Race Condition, die dazu führt, dass Kosten nicht verfolgt werden PR ansehen
  3. Anthropic Pass-through: Genaue Tokenzählung sicherstellen PR ansehen

Management Endpunkte / UI​

  1. Modellseite - Modelle nach "erstellt am" sortieren
  2. Modellseite - Verbesserungen des Modell-Bearbeitungsflusses
  3. Modellseite - Behebung des Hinzufügens von Azure-, Azure AI Studio-Modellen in der UI
  4. Interne Benutzerseite - Massenhaftes Hinzufügen von internen Benutzern in der UI ermöglichen
  5. Interne Benutzerseite - Benutzer nach "erstellt am" sortieren
  6. Virtuelle Schlüssel-Seite - Benutzer-IDs auf dem Dropdown-Menü beim Zuweisen eines Benutzers zu einem Team durchsuchbar machen PR ansehen
  7. Virtuelle Schlüssel-Seite - Ermöglicht das Erstellen eines Benutzers bei der Zuweisung von Schlüsseln an Benutzer PR ansehen
  8. Model Hub-Seite - Problem mit Textüberlauf behoben PR ansehen
  9. Admin-Einstellungen-Seite - MSFT SSO in der UI hinzufügen
  10. Backend - doppelte interne Benutzer in der DB nicht erstellen

Helm​

  1. unterstützt ttlSecondsAfterFinished für den Migrationsjob - PR ansehen
  2. Migrationsjob mit zusätzlichen konfigurierbaren Eigenschaften verbessern - PR ansehen

Logging / Guardrail Integrationen​

  1. Arize Phoenix Unterstützung
  2. 'no-log' - Korrigiert die Unterstützung des 'no-log'-Parameters bei Embedding-Aufrufen

Leistungs-/Loadbalancing-/Zuverlässigkeitsverbesserungen​

  1. Single Deployment Cooldown-Logik - Verwendet allowed_fails oder allowed_fail_policy, falls gesetzt Hier starten

Allgemeine Proxy-Verbesserungen​

  1. Hypercorn - Korrigiert das Lesen/Parsen des Anfragekörpers
  2. Windows - Korrigiert das Ausführen des Proxys unter Windows
  3. DD-Trace - Korrigiert die Aktivierung von dd-trace im Proxy

Vollständiger Git-Diff​

Vollständiges Git-Diff hier ansehen hier.