Zum Hauptinhalt springen

Sitzungsprotokolle

Gruppieren Sie Anfragen in Sitzungen. Dies ermöglicht es Ihnen, zusammengehörige Anfragen zu gruppieren.

Verwendung​

/chat/completions​

Um mehrere Anfragen zu einer einzigen Sitzung zu gruppieren, übergeben Sie dieselbe litellm_session_id im Metadaten für jede Anfrage. Hier ist, wie das geht:

Anfrage 1 Erstellen Sie eine neue Sitzung mit einer eindeutigen ID und stellen Sie die erste Anfrage. Die Sitzungs-ID wird verwendet, um alle zusammengehörigen Anfragen zu verfolgen.

import openai
import uuid

# Create a session ID
session_id = str(uuid.uuid4())

client = openai.OpenAI(
    api_key="<your litellm api key>",
    base_url="http://0.0.0.0:4000"
)

# First request in session
response1 = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            "role": "user",
            "content": "Write a short story about a robot"
        }
    ],
    extra_body={
        "metadata": {
            "litellm_session_id": session_id  # Pass the session ID
        }
    }
)

Anfrage 2 Stellen Sie eine weitere Anfrage mit derselben Sitzungs-ID, um sie mit der vorherigen Anfrage zu verknüpfen. Dies ermöglicht die gemeinsame Verfolgung von zusammengehörigen Anfragen.

# Second request using same session ID
response2 = client.chat.completions.create(
    model="gpt-4o", 
    messages=[
        {
            "role": "user",
            "content": "Now write a poem about that robot"
        }
    ],
    extra_body={
        "metadata": {
            "litellm_session_id": session_id  # Reuse the same session ID
        }
    }
)

/responses​

Verwenden Sie für den Endpunkt /responses previous_response_id, um Anfragen in einer Sitzung zu gruppieren. Die previous_response_id wird in der Antwort jeder Anfrage zurückgegeben.

Anfrage 1 Stellen Sie die erste Anfrage und speichern Sie die Antwort-ID, um Folgeanfragen zu verknüpfen.

from openai import OpenAI

client = OpenAI(
    api_key="<your litellm api key>",
    base_url="http://0.0.0.0:4000"
)

# First request in session
response1 = client.responses.create(
    model="anthropic/claude-3-sonnet-20240229-v1:0",
    input="Write a short story about a robot"
)

# Store the response ID for the next request
response_id = response1.id

Anfrage 2 Stellen Sie eine Folgeanfrage mit der vorherigen Antwort-ID, um den Konversationskontext beizubehalten.

# Second request using previous response ID
response2 = client.responses.create(
    model="anthropic/claude-3-sonnet-20240229-v1:0",
    input="Now write a poem about that robot",
    previous_response_id=response_id  # Link to previous request
)