Zum Hauptinhalt springen

[Beta]Routing basierend auf Request-Metadaten

Erstellen Sie Routing-Regeln basierend auf Request-Metadaten.

Einrichtung​

Fügen Sie Folgendes zu Ihrer LiteLLM Proxy Config YAML-Datei hinzu.

litellm proxy config.yaml
router_settings:
  enable_tag_filtering: True # 👈 Key Change

1. Erstellen Sie ein Tag​

Navigieren Sie in der LiteLLM UI zu Experimental > Tag Management > Create Tag.

Erstellen Sie ein Tag namens private-data und wählen Sie nur die erlaubten Modelle für Anfragen mit diesem Tag aus. Nach der Erstellung sehen Sie das Tag auf der Tag Management-Seite.

2. Testen Sie das Tag-Routing​

Jetzt testen wir die Tag-basierten Routing-Regeln.

2.1 Ungültiges Modell​

Diese Anfrage wird fehlschlagen, da wir tags=private-data senden, aber das Modell gpt-4o nicht zu den erlaubten Modellen für das Tag private-data gehört.


Hier ist ein Beispiel, das dieselbe Anfrage mit dem OpenAI Python SDK sendet.

from openai import OpenAI

client = OpenAI(
    api_key="sk-1234",
    base_url="http://0.0.0.0:4000/v1/"
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "user", "content": "Hello, how are you?"}
    ],
    extra_body={
        "tags": "private-data"
    }
)

2.2 Gültiges Modell​

Diese Anfrage wird erfolgreich sein, da wir tags=private-data senden und das Modell us.anthropic.claude-3-7-sonnet-20250219-v1:0 zu den erlaubten Modellen für das Tag private-data gehört.

Hier ist ein Beispiel, das dieselbe Anfrage mit dem OpenAI Python SDK sendet.

from openai import OpenAI

client = OpenAI(
    api_key="sk-1234",
    base_url="http://0.0.0.0:4000/v1/"
)

response = client.chat.completions.create(
    model="us.anthropic.claude-3-7-sonnet-20250219-v1:0",
    messages=[
        {"role": "user", "content": "Hello, how are you?"}
    ],
    extra_body={
        "tags": "private-data"
    }
)

Zusätzliche Tag-Funktionen​