Zum Hauptinhalt springen

✨ Budget-/Ratenlimit-Stufen

Definieren Sie Schichten mit Ratenbegrenzungen. Weisen Sie sie Schlüsseln zu.

Verwenden Sie dies, um den Zugriff und die Budgets über viele Schlüssel hinweg zu steuern.

Info

Dies ist ein Feature von LiteLLM Enterprise.

Erhalten Sie eine kostenlose 7-tägige Testversion + kontaktieren Sie uns hier.

Preise finden Sie hier.

1. Budget erstellen​

curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "my-test-tier",
    "rpm_limit": 0
}'

2. Budget einem Schlüssel zuweisen​

curl -L -X POST 'http://0.0.0.0:4000/key/generate' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "my-test-tier"
}'

Erwartete Antwort

{
    "key": "sk-...",
    "budget_id": "my-test-tier",
    "litellm_budget_table": {
        "budget_id": "my-test-tier",
        "rpm_limit": 0
    }
}

3. Prüfen, ob das Budget auf dem Schlüssel erzwungen wird​

curl -L -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-...' \ # 👈 KEY from step 2.
-d '{
    "model": "<REPLACE_WITH_MODEL_NAME_FROM_CONFIG.YAML>",
    "messages": [
      {"role": "user", "content": "hi my email is ishaan"}
    ]
}'

API-Referenz​