Ein Beitrag mit dem Tag "azure_storage"

Eine neue LiteLLM Stable-Version wurde gerade veröffentlicht. Hier sind 5 Updates seit v1.52.2-stable.

langfuse, Fallbacks, neue Modelle, azure_storage

Langfuse Prompt Management​

Dies erleichtert das Ausführen von Experimenten oder das Ändern spezifischer Modelle wie gpt-4o zu gpt-4o-mini auf Langfuse, anstatt Änderungen in Ihren Anwendungen vorzunehmen. Start hier

Fallback-Prompts clientseitig steuern​

Claude-Prompts unterscheiden sich von OpenAI-Prompts.

Übergabe von modellspezifischen Prompts bei der Verwendung von Fallbacks. Start hier

Neue Anbieter / Modelle​

• /infer-Endpunkt für NVIDIA Triton. Start hier
• Rerank-Modelle von Infinity Start hier

✨ Unterstützung für Azure Data Lake Storage​

Senden Sie LLM-Nutzungsdaten (Ausgaben, Token) an Azure Data Lake. Dies erleichtert die Nutzung von Nutzungsdaten auf anderen Diensten (z. B. Databricks) Start hier

Docker Run LiteLLM​

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:litellm_stable_release_branch-v1.55.8-stable

Tägliche Updates erhalten​

LiteLLM veröffentlicht täglich neue Versionen. Folgen Sie uns auf LinkedIn, um tägliche Updates zu erhalten.