Zum Hauptinhalt springen

Sentry - LLM-Ausnahmen protokollieren

Tipp

Dies wird von der Community gepflegt. Bitte melden Sie einen Fehler, wenn Sie auf einen stoßen https://github.com/BerriAI/litellm

Sentry bietet Fehlerüberwachung für die Produktion. LiteLLM kann mit dieser Integration Breadcrumbs hinzufügen und Ausnahmen an Sentry senden.

Ausnahmen verfolgen für

  • litellm.completion() - completion() für 100+ LLMs
  • litellm.acompletion() - asynchrone completion()
  • Streaming completion() & acompletion() Aufrufe

Verwendung​

SENTRY_DSN & Callback festlegen​

import litellm, os
os.environ["SENTRY_DSN"] = "your-sentry-url"
litellm.failure_callback=["sentry"]

Sentry-Callback mit completion​

import litellm
from litellm import completion 

litellm.input_callback=["sentry"] # adds sentry breadcrumbing
litellm.failure_callback=["sentry"] # [OPTIONAL] if you want litellm to capture -> send exception to sentry

import os 
os.environ["SENTRY_DSN"] = "your-sentry-url"
os.environ["OPENAI_API_KEY"] = "your-openai-key"

# set bad key to trigger error 
api_key="bad-key"
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hey!"}], stream=True, api_key=api_key)

print(response)

Nachrichten, Antwortinhalt von Sentry-Protokollierung schwärzen​

Setzen Sie litellm.turn_off_message_logging=True. Dies verhindert, dass die Nachrichten und Antworten an Sentry protokolliert werden, aber die Anforderungsmetadaten werden weiterhin protokolliert.

Teilen Sie uns mit, wenn Sie zusätzliche Optionen von Sentry benötigen.