Zum Hauptinhalt springen

Post-Call Regeln

Verwenden Sie dies, um eine Anfrage basierend auf dem Ergebnis eines LLM-API-Aufrufs fehlschlagen zu lassen.

Schnellstart​

Schritt 1: Erstellen Sie eine Datei (z.B. post_call_rules.py)​

def my_custom_rule(input): # receives the model response 
    if len(input) < 5: 
      return {
            "decision": False,
            "message": "This violates LiteLLM Proxy Rules. Response too short"
      }
    return {"decision": True}   # message not required since, request will pass

Schritt 2. Zeigen Sie darauf zu Ihrem Proxy​

litellm_settings:
  post_call_rules: post_call_rules.my_custom_rule

Schritt 3. Starten + testen Sie Ihren Proxy​

$ litellm /path/to/config.yaml
curl --location 'http://0.0.0.0:4000/v1/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-1234' \
--data '{
  "model": "gpt-3.5-turbo",
  "messages": [{"role":"user","content":"What llm are you?"}],
  "temperature": 0.7,
  "max_tokens": 10,
}'

Dies prüft nun, ob eine Antwort länger als 5 Zeichen ist, und wenn sie fehlschlägt, wird ein Aufruf 3 Mal wiederholt, bevor er fehlschlägt.

Antworten, die die Regel verfehlen​

Dies ist die Antwort vom LiteLLM Proxy beim Verfehlen einer Regel

{
  "error":
    {
      "message":"This violates LiteLLM Proxy Rules. Response too short",
      "type":null,
      "param":null,
      "code":500
    }
}