Greenscale - LLM-Ausgaben und verantwortungsvolle Nutzung verfolgen

Tipp

Dies wird von der Community gepflegt. Bitte melden Sie einen Fehler, wenn Sie auf einen stoßen https://github.com/BerriAI/litellm

Greenscale ist eine Produktionsüberwachungsplattform für Ihre LLM-gesteuerten Apps, die Ihnen detaillierte Einblicke in Ihre GenAI-Ausgaben und deren verantwortungsvolle Nutzung bietet. Greenscale erfasst nur Metadaten, um das Risiko der Offenlegung von personenbezogenen Daten (PII) zu minimieren.

Erste Schritte

Verwenden Sie Greenscale, um Anfragen über alle LLM-Anbieter hinweg zu protokollieren

liteLLM bietet Callbacks, mit denen Sie Daten basierend auf dem Status Ihrer Antworten einfach protokollieren können.

Verwendung von Callbacks

Senden Sie zunächst eine E-Mail an hello@greenscale.ai, um einen API_KEY zu erhalten.

Verwenden Sie nur 1 Codezeile, um Ihre Antworten **über alle Anbieter hinweg** mit Greenscale sofort zu protokollieren

litellm.success_callback = ["greenscale"]

Vollständiger Code

from litellm import completion

## set env variables
os.environ['GREENSCALE_API_KEY'] = 'your-greenscale-api-key'
os.environ['GREENSCALE_ENDPOINT'] = 'greenscale-endpoint'
os.environ["OPENAI_API_KEY"]= ""

# set callback
litellm.success_callback = ["greenscale"]

#openai call
response = completion(
  model="gpt-3.5-turbo",
  messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}]
  metadata={
    "greenscale_project": "acme-project",
    "greenscale_application": "acme-application"
  }
)

Zusätzliche Informationen in Metadaten

Sie können beliebige zusätzliche Informationen an Greenscale senden, indem Sie das Feld metadata bei der Vervollständigung und das Präfix greenscale_ verwenden. Dies kann nützlich sein, um Metadaten über die Anfrage zu senden, wie z. B. den Projekt- und Anwendungsnamen, die Kunden-ID, die Umgebung oder andere Informationen, die Sie zur Nachverfolgung der Nutzung verwenden möchten. greenscale_project und greenscale_application sind Pflichtfelder.

#openai call with additional metadata
response = completion(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ],
  metadata={
    "greenscale_project": "acme-project",
    "greenscale_application": "acme-application",
    "greenscale_customer_id": "customer-123"
  }
)

Support & Sprechen Sie mit dem Greenscale-Team

• Demo buchen 👋
• Website 💻
• Unsere E-Mail ✉️ hello@greenscale.ai