Zum Hauptinhalt springen

Debugging

Es werden 2 Debugging-Stufen unterstützt.

  • debug (zeigt Info-Logs an)
  • detailed debug (zeigt Debug-Logs an)

Der Proxy unterstützt auch JSON-Logs. Siehe hier

debug​

über die CLI

$ litellm --debug

über Umgebungsvariablen

os.environ["LITELLM_LOG"] = "INFO"

detailed debug​

über die CLI

$ litellm --detailed_debug

über Umgebungsvariablen

os.environ["LITELLM_LOG"] = "DEBUG"

Debug-Logs​

Führen Sie den Proxy mit --detailed_debug aus, um detaillierte Debug-Logs anzuzeigen.

litellm --config /path/to/config.yaml --detailed_debug

Bei Anfragen sollten Sie die von LiteLLM an das LLM gesendete POST-Anfrage in der Terminalausgabe sehen.

POST Request Sent from LiteLLM:
curl -X POST \
https://api.openai.com/v1/chat/completions \
-H 'content-type: application/json' -H 'Authorization: Bearer sk-qnWGUIW9****************************************' \
-d '{"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": "this is a test request, write a short poem"}]}'

JSON LOGS​

Setzen Sie JSON_LOGS="True" in Ihren Umgebungsvariablen.

export JSON_LOGS="True"

ODER

Setzen Sie json_logs: true in Ihrer YAML-Datei.

litellm_settings:
    json_logs: true

Proxy starten

$ litellm

Der Proxy gibt nun alle Logs im JSON-Format aus.

Log-Ausgabe steuern​

FastAPIs Standard-Logs (INFO) deaktivieren

  1. 'JSON Logs' aktivieren
litellm_settings:
    json_logs: true
  1. Setzen Sie LITELLM_LOG auf 'ERROR'

Logs nur bei einem Fehler erhalten.

LITELLM_LOG="ERROR"
  1. Proxy starten
$ litellm

Erwartete Ausgabe

# no info statements

Häufige Fehler​

  1. "Keine verfügbaren Deployments..."
No deployments available for selected model, Try again in 60 seconds. Passed model=claude-3-5-sonnet. pre-call-checks=False, allowed_model_region=n/a.

Dies kann daran liegen, dass alle Ihre Modelle Rate-Limit-Fehler aufweisen und der Cooldown aktiviert wird.

Wie kann man das steuern?

  • Cooldowntzeit anpassen
router_settings:
    cooldown_time: 0 # 👈 KEY CHANGE
  • Cooldowns deaktivieren[NICHT EMPFOHLEN]
router_settings:
    disable_cooldowns: True

Dies wird nicht empfohlen, da Anfragen dann an Deployments weitergeleitet werden, die ihr tpm/rpm-Limit überschreiten.