3 Beiträge mit dem Tag "guardrails"

guardrails, logging, virtuelles Schlüsselmanagement, neue Modelle

Neue Funktionen​

✨ Guardrail-Traces protokollieren​

Verfolgen Sie die Fehlerrate von Guardrails und ob ein Guardrail fehlerhaft ist und Anfragen ablehnt. Start hier

Erfolgreiche Guardrail-Nachverfolgung

Fehlgeschlagene Guardrail-Nachverfolgung

/guardrails/list​

/guardrails/list ermöglicht es Clients, verfügbare Guardrails + unterstützte Guardrail-Parameter anzuzeigen.

curl -X GET 'http://0.0.0.0:4000/guardrails/list'

Erwartete Antwort

{
    "guardrails": [
        {
        "guardrail_name": "aporia-post-guard",
        "guardrail_info": {
            "params": [
            {
                "name": "toxicity_score",
                "type": "float",
                "description": "Score between 0-1 indicating content toxicity level"
            },
            {
                "name": "pii_detection",
                "type": "boolean"
            }
            ]
        }
        }
    ]
}

✨ Guardrails mit Mock LLM​

Senden Sie eine mock_response, um Guardrails zu testen, ohne einen LLM-Aufruf zu tätigen. Weitere Informationen zu mock_response finden Sie hier.

curl -i https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-npnwjPQciVRok5yNZgKmFQ" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is ishaan@berri.ai"}
    ],
    "mock_response": "This is a mock response",
    "guardrails": ["aporia-pre-guard", "aporia-post-guard"]
  }'

Schlüssel Benutzern zuweisen​

Sie können jetzt Schlüssel über die Proxy-Benutzeroberfläche Benutzern zuweisen.

Neue Modelle​

• openrouter/openai/o1
• vertex_ai/mistral-large@2411

Korrekturen​

• Preise für vertex_ai/ mistral-Modelle korrigiert: https://github.com/BerriAI/litellm/pull/7345
• Fehlendes Feld model_group in Protokollen für aspeech-Aufruftypen https://github.com/BerriAI/litellm/pull/7392

Schlüsselverwaltung, Budgets/Ratenbegrenzungen, Protokollierung, Guardrails

✨ Budget-/Ratenbegrenzungsschichten​

Definieren Sie Schichten mit Ratenbegrenzungen. Weisen Sie sie Schlüsseln zu.

Verwenden Sie dies, um den Zugriff und die Budgets über viele Schlüssel hinweg zu steuern.

Start hier

curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "high-usage-tier",
    "model_max_budget": {
        "gpt-4o": {"rpm_limit": 1000000}
    }
}'

OTEL-Fehlerbehebung​

LiteLLM hat den litellm_request-Span doppelt protokolliert. Dies ist jetzt behoben.

Relevante PR

Protokollierung für Finetuning-Endpunkte​

Protokolle für Finetuning-Anfragen sind jetzt bei allen Protokollierungsanbietern (z. B. Datadog) verfügbar.

Was wird pro Anfrage protokolliert

• file_id
• finetuning_job_id
• Alle Schlüssel-/Team-Metadaten

Hier starten

• Finetuning einrichten
• Protokollierung einrichten

Dynamische Parameter für Guardrails​

Sie können jetzt benutzerdefinierte Parameter (wie Erfolgsschwelle) für Ihre Guardrails in jeder Anfrage festlegen.

Weitere Details finden Sie in der Guardrails-Spezifikation.

Batches, Guardrails, Teamverwaltung, benutzerdefinierte Authentifizierung

✨ Kostenverfolgung, Protokollierung für Batch-API (/batches)​

Verfolgen Sie Kosten und Nutzung für Batch-Erstellungsaufträge. Start hier

✨ /guardrails/list Endpunkt​

Zeigen Sie verfügbare Guardrails für Benutzer an. Start hier

✨ Teams erlauben, Modelle hinzuzufügen​

Dies ermöglicht es Team-Administratoren, ihre eigenen feinabgestimmten Modelle über den LiteLLM-Proxy aufzurufen. Start hier

✨ Allgemeine Prüfungen für benutzerdefinierte Authentifizierung​

Der Aufruf der internen common_checks-Funktion in der benutzerdefinierten Authentifizierung ist jetzt als Enterprise-Funktion vorgeschrieben. Dies ermöglicht Administratoren, die Standard-Budget-/Authentifizierungsprüfungen von LiteLLM innerhalb ihrer benutzerdefinierten Authentifizierungsimplementierung zu nutzen. Start hier

✨ Zuweisung von Team-Administratoren​

Team-Administratoren wechseln aus der Beta-Phase in unsere Enterprise-Stufe. Dies ermöglicht Proxy-Administratoren, anderen die Verwaltung von Schlüsseln/Modellen für ihre eigenen Teams zu gestatten (nützlich für Produktionsprojekte). Start hier