Zum Hauptinhalt springen

Literal AI - Protokollieren, Auswerten, Überwachen

Literal AI ist eine kollaborative Plattform für Beobachtung, Bewertung und Analytik zum Erstellen von LLM-Apps für den Produktionseinsatz.

Voraussetzungen​

Stellen Sie sicher, dass Sie das Paket literalai installiert haben.

pip install literalai litellm

Schnellstart​

import litellm
import os

os.environ["LITERAL_API_KEY"] = ""
os.environ['OPENAI_API_KEY']= ""
os.environ['LITERAL_BATCH_SIZE'] = "1" # You won't see logs appear until the batch is full and sent

litellm.success_callback = ["literalai"] # Log Input/Output to LiteralAI
litellm.failure_callback = ["literalai"] # Log Errors to LiteralAI

# openai call
response = litellm.completion(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ]
)

Mehrstufige Traces​

Diese Integration ist mit den Decorators des Literal AI SDK kompatibel und ermöglicht die Nachverfolgung von Konversationen und Agenten.

import litellm
from literalai import LiteralClient
import os

os.environ["LITERAL_API_KEY"] = ""
os.environ['OPENAI_API_KEY']= ""
os.environ['LITERAL_BATCH_SIZE'] = "1" # You won't see logs appear until the batch is full and sent

litellm.input_callback = ["literalai"] # Support other Literal AI decorators and prompt templates
litellm.success_callback = ["literalai"] # Log Input/Output to LiteralAI
litellm.failure_callback = ["literalai"] # Log Errors to LiteralAI

literalai_client = LiteralClient()

@literalai_client.run
def my_agent(question: str):
    # agent logic here
    response = litellm.completion(
        model="gpt-3.5-turbo",
        messages=[
            {"role": "user", "content": question}
        ],
        metadata={"literalai_parent_id": literalai_client.get_current_step().id}
    )
    return response

my_agent("Hello world")

# Waiting to send all logs before exiting, not needed in a production server
literalai_client.flush()

Erfahren Sie mehr über die Protokollierungsfunktionen von Literal AI.

Binden Sie eine Generierung an ihre Prompt-Vorlage​

Diese Integration funktioniert sofort mit auf Literal AI verwalteten Prompts. Das bedeutet, dass eine bestimmte LLM-Generierung an ihre Vorlage gebunden wird.

Erfahren Sie mehr über Prompt-Management auf Literal AI.

Verwendung des OpenAI-Proxys​

Wenn Sie den Lite LLM-Proxy verwenden, können Sie die Literal AI OpenAI-Instrumentierung verwenden, um Ihre Aufrufe zu protokollieren.

from literalai import LiteralClient
from openai import OpenAI

client = OpenAI(
    api_key="anything",            # litellm proxy virtual key
    base_url="http://0.0.0.0:4000" # litellm proxy base_url
)

literalai_client = LiteralClient(api_key="")

# Instrument the OpenAI client
literalai_client.instrument_openai()

settings = {
    "model": "gpt-3.5-turbo", # model you want to send litellm proxy
    "temperature": 0,
    # ... more settings
}

response = client.chat.completions.create(
        messages=[
            {
                "content": "You are a helpful bot, you always reply in Spanish",
                "role": "system"
            },
            {
                "content": message.content,
                "role": "user"
            }
        ],
        **settings
    )