OpenAI Passthrough

Pass-through-Endpunkte für /openai

Übersicht

Feature	Unterstützt	Notizen
Kostenverfolgung	❌	Nicht unterstützt
Protokollierung	✅	Funktioniert über alle Integrationen hinweg
Streaming	✅	Vollständig unterstützt

Wann soll dies verwendet werden?

• Für 90% Ihrer Anwendungsfälle sollten Sie die native LiteLLM OpenAI Integration (/chat/completions, /embeddings, /completions, /images, /batches usw.) verwenden.
• Verwenden Sie diesen Passthrough, um weniger gebräuchliche oder neuere OpenAI-Endpunkte aufzurufen, die LiteLLM noch nicht vollständig unterstützt, wie z. B. /assistants, /threads, /vector_stores

Ersetzen Sie einfach https://api.openai.com durch LITELLM_PROXY_BASE_URL/openai

Verwendungsbeispiele

Assistenten-API

OpenAI-Client erstellen

Stellen Sie sicher, dass Sie Folgendes tun

• Zeigen Sie auf base_url zu Ihrer LITELLM_PROXY_BASE_URL/openai
• Verwenden Sie Ihren LITELLM_API_KEY als api_key

import openai

client = openai.OpenAI(
    base_url="http://0.0.0.0:4000/openai",  # <your-proxy-url>/openai
    api_key="sk-anything"  # <your-proxy-api-key>
)

Assistent erstellen

# Create an assistant
assistant = client.beta.assistants.create(
    name="Math Tutor",
    instructions="You are a math tutor. Help solve equations.",
    model="gpt-4o",
)

Thread erstellen

# Create a thread
thread = client.beta.threads.create()

Nachricht zum Thread hinzufügen

# Add a message
message = client.beta.threads.messages.create(
    thread_id=thread.id,
    role="user",
    content="Solve 3x + 11 = 14",
)

Assistent ausführen

# Create a run to get the assistant's response
run = client.beta.threads.runs.create(
    thread_id=thread.id,
    assistant_id=assistant.id,
)

# Check run status
run_status = client.beta.threads.runs.retrieve(
    thread_id=thread.id,
    run_id=run.id
)

Nachrichten abrufen

# List messages after the run completes
messages = client.beta.threads.messages.list(
    thread_id=thread.id
)

Assistent löschen

# Delete the assistant when done
client.beta.assistants.delete(assistant.id)