Zum Hauptinhalt springen

🌙 Lunary - GenAI Observability

Lunary ist eine Open-Source-Plattform, die Observability, Prompt-Management und Analysen bietet, um Teams bei der Verwaltung und Verbesserung von LLM-Chatbots zu unterstützen.

Sie können uns jederzeit per E-Mail erreichen oder direkt einen Demo-Termin vereinbaren.

Verwendung mit dem LiteLLM Python SDK​

Voraussetzungen​

pip install litellm lunary

Schnellstart​

Holen Sie sich zuerst Ihren öffentlichen Lunary-Schlüssel im Lunary Dashboard.

Verwenden Sie nur 2 Codezeilen, um Ihre Antworten über alle Anbieter hinweg sofort mit Lunary zu protokollieren

litellm.success_callback = ["lunary"]
litellm.failure_callback = ["lunary"]

Vollständiger Code

from litellm import completion

os.environ["LUNARY_PUBLIC_KEY"] = "your-lunary-public-key" # from https://app.lunary.ai/)
os.environ["OPENAI_API_KEY"] = ""

litellm.success_callback = ["lunary"]
litellm.failure_callback = ["lunary"]

response = completion(
  model="gpt-4o",
  messages=[{"role": "user", "content": "Hi there 👋"}],
  user="ishaan_litellm"
)

Verwendung mit LangChain ChatLiteLLM​

import os
from langchain.chat_models import ChatLiteLLM
from langchain.schema import HumanMessage
import litellm

os.environ["LUNARY_PUBLIC_KEY"] = "" # from https://app.lunary.ai/settings
os.environ['OPENAI_API_KEY']="sk-..."

litellm.success_callback = ["lunary"] 
litellm.failure_callback = ["lunary"] 

chat = ChatLiteLLM(
  model="gpt-4o"
  messages = [
    HumanMessage(
        content="what model are you"
    )
]
chat(messages)

Verwendung mit Prompt-Vorlagen​

Sie können Lunary verwenden, um Prompt-Vorlagen zu verwalten und sie mit LiteLLM über alle Ihre LLM-Anbieter hinweg zu verwenden.

from litellm import completion
from lunary

template = lunary.render_template("template-slug", {
  "name": "John", # Inject variables
})

litellm.success_callback = ["lunary"]

result = completion(**template)

Verwendung mit benutzerdefinierten Chains​

Sie können Ihre LLM-Aufrufe in benutzerdefinierte Chains einpacken, damit Sie sie als Traces visualisieren können.

import litellm
from litellm import completion
import lunary

litellm.success_callback = ["lunary"]
litellm.failure_callback = ["lunary"]

@lunary.chain("My custom chain name")
def my_chain(chain_input):
  chain_run_id = lunary.run_manager.current_run_id
  response = completion(
    model="gpt-4o", 
    messages=[{"role": "user", "content": "Say 1"}],
    metadata={"parent_run_id": chain_run_id},
  )

  response = completion(
    model="gpt-4o", 
    messages=[{"role": "user", "content": "Say 2"}],
    metadata={"parent_run_id": chain_run_id},
  )
  chain_output = response.choices[0].message
  return chain_output

my_chain("Chain input")

Verwendung mit LiteLLM Proxy Server​

Schritt 1: Abhängigkeiten installieren und Umgebungsvariablen festlegen​

Abhängigkeiten installieren

pip install litellm lunary

Holen Sie sich Ihren öffentlichen Lunary-Schlüssel von https://app.lunary.ai/settings

export LUNARY_PUBLIC_KEY="<your-public-key>"

Schritt 2: Eine config.yaml erstellen und lunary Callbacks festlegen​

model_list:
  - model_name: "*"
    litellm_params:
      model: "*"
litellm_settings:
  success_callback: ["lunary"]
  failure_callback: ["lunary"]

Schritt 3: Den LiteLLM-Proxy starten​

litellm --config config.yaml

Schritt 4: Eine Anfrage stellen​

curl -X POST 'http://0.0.0.0:4000/chat/completions' \
-H 'Content-Type: application/json' \
-d '{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful math tutor. Guide the user through the solution step by step."
      },
      {
        "role": "user",
        "content": "how can I solve 8x + 7 = -23"
      }
    ]
}'

Weitere Details zu den verschiedenen Möglichkeiten, Anfragen an den LiteLLM-Proxy zu stellen, finden Sie auf dieser Seite

Support & Sprechen Sie mit den Gründern​