Zum Hauptinhalt springen

Promptlayer Tutorial

Tipp

Dies wird von der Community gepflegt. Bitte melden Sie einen Fehler, wenn Sie auf einen stoßen https://github.com/BerriAI/litellm

Promptlayer ist eine Plattform für Prompt-Ingenieure. Protokolliere OpenAI-Anfragen. Suche in der Nutzungshistorie. Verfolge die Leistung. Verwalte Prompt-Vorlagen visuell.

Verwenden Sie Promptlayer, um Anfragen über alle LLM-Anbieter hinweg zu protokollieren (OpenAI, Azure, Anthropic, Cohere, Replicate, PaLM)​

liteLLM bietet Callbacks, mit denen Sie Daten basierend auf dem Status Ihrer Antworten einfach protokollieren können.

Verwendung von Callbacks​

Holen Sie sich Ihren PromptLayer API-Schlüssel von https://promptlayer.com/

Verwenden Sie nur 2 Zeilen Code, um Ihre Antworten sofort zu protokollieren über alle Anbieter mit Promptlayer

litellm.success_callback = ["promptlayer"]

Vollständiger Code

from litellm import completion

## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"

os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""

# set callbacks
litellm.success_callback = ["promptlayer"]

#openai call
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}])

#cohere call
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}])

Metadaten protokollieren​

Sie können auch Metadaten für Abschlussanfragen an Promptlayer protokollieren.

Sie können Metadaten zu einer Abschlussanfrage über den Metadaten-Parameter hinzufügen

completion(model,messages, metadata={"model": "ai21"})

Vollständiger Code

from litellm import completion

## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"

os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""

# set callbacks
litellm.success_callback = ["promptlayer"]

#openai call - log llm provider is openai
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}], metadata={"provider": "openai"})

#cohere call - log llm provider is cohere
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}], metadata={"provider": "cohere"})

Dank an Nick Bradford von Vim-GPT für den Vorschlag.

Support & Sprechen Sie mit den Gründern​