Zum Hauptinhalt springen

Langfuse SDK

Pass-through-Endpunkte fĂĽr Langfuse - rufen Sie Langfuse-Endpunkte mit dem LiteLLM Virtual Key auf.

Ersetzen Sie einfach https://us.cloud.langfuse.com durch LITELLM_PROXY_BASE_URL/langfuse 🚀

Beispielverwendung​

from langfuse import Langfuse

langfuse = Langfuse(
    host="https://:4000/langfuse", # your litellm proxy endpoint
    public_key="anything",        # no key required since this is a pass through
    secret_key="LITELLM_VIRTUAL_KEY",        # no key required since this is a pass through
)

print("sending langfuse trace request")
trace = langfuse.trace(name="test-trace-litellm-proxy-passthrough")
print("flushing langfuse request")
langfuse.flush()

print("flushed langfuse request")

UnterstĂĽtzt ALLE Langfuse-Endpunkte.

Alle Langfuse-Endpunkte anzeigen

Schnellstart​

Lassen Sie uns einen Trace nach Langfuse protokollieren.

  1. Fügen Sie Langfuse öffentliche/private Schlüssel zur Umgebung hinzu
export LANGFUSE_PUBLIC_KEY=""
export LANGFUSE_PRIVATE_KEY=""
  1. LiteLLM Proxy starten
litellm

# RUNNING on http://0.0.0.0:4000
  1. Testen Sie es!

Lassen Sie uns einen Trace nach Langfuse protokollieren!

from langfuse import Langfuse

langfuse = Langfuse(
    host="https://:4000/langfuse", # your litellm proxy endpoint
    public_key="anything",        # no key required since this is a pass through
    secret_key="anything",        # no key required since this is a pass through
)

print("sending langfuse trace request")
trace = langfuse.trace(name="test-trace-litellm-proxy-passthrough")
print("flushing langfuse request")
langfuse.flush()

print("flushed langfuse request")

Fortgeschritten – Verwendung mit virtuellen Schlüsseln​

Voraussetzungen

Verwenden Sie dies, um zu vermeiden, Entwicklern den rohen Google AI Studio-SchlĂĽssel zu geben, aber sie dennoch Google AI Studio-Endpunkte verwenden zu lassen.

Verwendung​

  1. Umgebung einrichten
export DATABASE_URL=""
export LITELLM_MASTER_KEY=""
export LANGFUSE_PUBLIC_KEY=""
export LANGFUSE_PRIVATE_KEY=""
litellm

# RUNNING on http://0.0.0.0:4000
  1. Virtuellen SchlĂĽssel generieren
curl -X POST 'http://0.0.0.0:4000/key/generate' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{}'

Erwartete Antwort

{
    ...
    "key": "sk-1234ewknldferwedojwojw"
}
  1. Testen Sie es!
from langfuse import Langfuse

langfuse = Langfuse(
    host="https://:4000/langfuse", # your litellm proxy endpoint
    public_key="anything",        # no key required since this is a pass through
    secret_key="sk-1234ewknldferwedojwojw",        # no key required since this is a pass through
)

print("sending langfuse trace request")
trace = langfuse.trace(name="test-trace-litellm-proxy-passthrough")
print("flushing langfuse request")
langfuse.flush()

print("flushed langfuse request")

Erweitert - Protokollierung in separate Langfuse-Projekte (nach Schlüssel/Team)​