2 Beiträge mit dem Tag "new models"

guardrails, logging, virtuelles Schlüsselmanagement, neue Modelle

Neue Funktionen​

✨ Guardrail-Traces protokollieren​

Verfolgen Sie die Fehlerrate von Guardrails und ob ein Guardrail fehlerhaft ist und Anfragen ablehnt. Start hier

Erfolgreiche Guardrail-Nachverfolgung

Fehlgeschlagene Guardrail-Nachverfolgung

/guardrails/list​

/guardrails/list ermöglicht es Clients, verfügbare Guardrails + unterstützte Guardrail-Parameter anzuzeigen.

curl -X GET 'http://0.0.0.0:4000/guardrails/list'

Erwartete Antwort

{
    "guardrails": [
        {
        "guardrail_name": "aporia-post-guard",
        "guardrail_info": {
            "params": [
            {
                "name": "toxicity_score",
                "type": "float",
                "description": "Score between 0-1 indicating content toxicity level"
            },
            {
                "name": "pii_detection",
                "type": "boolean"
            }
            ]
        }
        }
    ]
}

✨ Guardrails mit Mock LLM​

Senden Sie eine mock_response, um Guardrails zu testen, ohne einen LLM-Aufruf zu tätigen. Weitere Informationen zu mock_response finden Sie hier.

curl -i https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-npnwjPQciVRok5yNZgKmFQ" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is ishaan@berri.ai"}
    ],
    "mock_response": "This is a mock response",
    "guardrails": ["aporia-pre-guard", "aporia-post-guard"]
  }'

Schlüssel Benutzern zuweisen​

Sie können jetzt Schlüssel über die Proxy-Benutzeroberfläche Benutzern zuweisen.

Neue Modelle​

• openrouter/openai/o1
• vertex_ai/mistral-large@2411

Korrekturen​

• Preise für vertex_ai/ mistral-Modelle korrigiert: https://github.com/BerriAI/litellm/pull/7345
• Fehlendes Feld model_group in Protokollen für aspeech-Aufruftypen https://github.com/BerriAI/litellm/pull/7392

Eine neue LiteLLM Stable-Version wurde gerade veröffentlicht. Hier sind 5 Updates seit v1.52.2-stable.

langfuse, Fallbacks, neue Modelle, azure_storage

Langfuse Prompt Management​

Dies erleichtert das Ausführen von Experimenten oder das Ändern spezifischer Modelle wie gpt-4o zu gpt-4o-mini auf Langfuse, anstatt Änderungen in Ihren Anwendungen vorzunehmen. Start hier

Fallback-Prompts clientseitig steuern​

Claude-Prompts unterscheiden sich von OpenAI-Prompts.

Übergabe von modellspezifischen Prompts bei der Verwendung von Fallbacks. Start hier

Neue Anbieter / Modelle​

• /infer-Endpunkt für NVIDIA Triton. Start hier
• Rerank-Modelle von Infinity Start hier

✨ Unterstützung für Azure Data Lake Storage​

Senden Sie LLM-Nutzungsdaten (Ausgaben, Token) an Azure Data Lake. Dies erleichtert die Nutzung von Nutzungsdaten auf anderen Diensten (z. B. Databricks) Start hier

Docker Run LiteLLM​

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:litellm_stable_release_branch-v1.55.8-stable

Tägliche Updates erhalten​

LiteLLM veröffentlicht täglich neue Versionen. Folgen Sie uns auf LinkedIn, um tägliche Updates zu erhalten.