Ein Beitrag mit dem Tag "budgets/rate limits"

Schlüsselverwaltung, Budgets/Ratenbegrenzungen, Protokollierung, Guardrails

✨ Budget-/Ratenbegrenzungsschichten​

Definieren Sie Schichten mit Ratenbegrenzungen. Weisen Sie sie Schlüsseln zu.

Verwenden Sie dies, um den Zugriff und die Budgets über viele Schlüssel hinweg zu steuern.

Start hier

curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "high-usage-tier",
    "model_max_budget": {
        "gpt-4o": {"rpm_limit": 1000000}
    }
}'

OTEL-Fehlerbehebung​

LiteLLM hat den litellm_request-Span doppelt protokolliert. Dies ist jetzt behoben.

Relevante PR

Protokollierung für Finetuning-Endpunkte​

Protokolle für Finetuning-Anfragen sind jetzt bei allen Protokollierungsanbietern (z. B. Datadog) verfügbar.

Was wird pro Anfrage protokolliert

• file_id
• finetuning_job_id
• Alle Schlüssel-/Team-Metadaten

Hier starten

• Finetuning einrichten
• Protokollierung einrichten

Dynamische Parameter für Guardrails​

Sie können jetzt benutzerdefinierte Parameter (wie Erfolgsschwelle) für Ihre Guardrails in jeder Anfrage festlegen.

Weitere Details finden Sie in der Guardrails-Spezifikation.