Zum Hauptinhalt springen

🙋‍♂️ Kunden-/Endbenutzer-Budgets

Verfolgen Sie Ausgaben, legen Sie Budgets für Ihre Kunden fest.

Ausgaben von Kunden verfolgen​

1. LLM-API-Aufruf mit Kunden-ID machen​

Machen Sie einen /chat/completions-Aufruf, übergeben Sie 'user' - Erster Aufruf funktioniert

curl -X POST 'http://0.0.0.0:4000/chat/completions' \
        --header 'Content-Type: application/json' \
        --header 'Authorization: Bearer sk-1234' \ # 👈 YOUR PROXY KEY
        --data ' {
        "model": "azure-gpt-3.5",
        "user": "ishaan3", # 👈 CUSTOMER ID
        "messages": [
            {
            "role": "user",
            "content": "what time is it"
            }
        ]
        }'

Die customer_id wird in die DB mit den neuen Ausgaben eingefügt.

Wenn die customer_id bereits existiert, werden die Ausgaben erhöht.

2. Kundenausgaben abrufen​

Rufen Sie /customer/info auf, um die Gesamtausgaben eines Kunden zu erhalten

curl -X GET 'http://0.0.0.0:4000/customer/info?end_user_id=ishaan3' \ # 👈 CUSTOMER ID
        -H 'Authorization: Bearer sk-1234' \ # 👈 YOUR PROXY KEY

Erwartete Antwort

{
    "user_id": "ishaan3",
    "blocked": false,
    "alias": null,
    "spend": 0.001413,
    "allowed_model_region": null,
    "default_model": null,
    "litellm_budget_table": null
}

Kundenausgaben festlegen​

Legen Sie Kundenausgaben (z. B. monatliche Budgets, TPM/RPM-Limits) auf dem LiteLLM-Proxy fest

Schnellstart​

Kunden mit Budget erstellen / aktualisieren

Neuen Kunden mit Budget erstellen

curl -X POST 'http://0.0.0.0:4000/customer/new'         
    -H 'Authorization: Bearer sk-1234'         
    -H 'Content-Type: application/json'         
    -D '{
        "user_id" : "my-customer-id",
        "max_budget": "0", # 👈 CAN BE FLOAT
    }'

Testen Sie es!

curl -X POST 'https://:4000/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-1234' \
-D '{
    "model": "mistral",
    "messages": [
        {
        "role": "user",
        "content": "What'\''s the weather like in Boston today?"
        }
    ],
    "user": "ishaan-jaff-48"
}

Preispakete zuweisen​

Erstellen und weisen Sie Kunden Preispaketen zu.

1. Ein Budget erstellen​

  • Gehen Sie auf der Benutzeroberfläche zum Tab 'Budgets'.
  • Klicken Sie auf '+ Budget erstellen'.
  • Erstellen Sie Ihr Preispaket (z. B. 'my-free-tier' mit einem Budget von 4 US-Dollar). Das bedeutet, dass jeder Benutzer auf diesem Preispaket ein maximales Budget von 4 US-Dollar hat.

2. Budget einem Kunden zuweisen​

Weisen Sie in Ihrem Anwendungscode das Budget zu, wenn Sie einen neuen Kunden erstellen.

Verwenden Sie einfach die budget_id, die bei der Erstellung des Budgets verwendet wurde. In unserem Beispiel ist dies my-free-tier.

curl -X POST 'https://:4000/customer/new' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-1234' \
-D '{
    "user_id": "my-customer-id",
    "budget_id": "my-free-tier" # 👈 KEY CHANGE
}

3. Testen!​

curl -X POST 'https://:4000/customer/new' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-1234' \
-D '{
    "user_id": "my-customer-id",
    "budget_id": "my-free-tier" # 👈 KEY CHANGE
}