Zum Hauptinhalt springen

Nicht unterstützte Parameter verwerfen

Entfernen Sie nicht unterstützte OpenAI-Parameter von Ihrem LLM-Anbieter.

Schnellstart​

import litellm 
import os 

# set keys 
os.environ["COHERE_API_KEY"] = "co-.."

litellm.drop_params = True # 👈 KEY CHANGE

response = litellm.completion(
                model="command-r",
                messages=[{"role": "user", "content": "Hey, how's it going?"}],
                response_format={"key": "value"},
            )

LiteLLM ordnet alle unterstützten OpenAI-Parameter nach Anbieter + Modell (z. B. Funktionsaufrufe werden von Anthropic auf Bedrock unterstützt, aber nicht von Titan).

Siehe litellm.get_supported_openai_params("command-r") Code

Wenn ein Anbieter/Modell einen bestimmten Parameter nicht unterstützt, können Sie ihn entfernen.

Verwendung des OpenAI-Proxys​

litellm_settings:
    drop_params: true

Übergeben Sie drop_params in completion(..)​

Einfach drop_params beim Aufruf spezifischer Modelle

import litellm 
import os 

# set keys 
os.environ["COHERE_API_KEY"] = "co-.."

response = litellm.completion(
                model="command-r",
                messages=[{"role": "user", "content": "Hey, how's it going?"}],
                response_format={"key": "value"},
                drop_params=True
            )

Zu entfernende Parameter angeben​

Um spezifische Parameter beim Aufruf eines Anbieters zu entfernen (z. B. 'logit_bias' für vllm)

Verwenden Sie additional_drop_params

import litellm 
import os 

# set keys 
os.environ["COHERE_API_KEY"] = "co-.."

response = litellm.completion(
                model="command-r",
                messages=[{"role": "user", "content": "Hey, how's it going?"}],
                response_format={"key": "value"},
                additional_drop_params=["response_format"]
            )

additional_drop_params: Liste oder null - Eine Liste von OpenAI-Parametern, die Sie beim Aufruf des Modells entfernen möchten.

Zulässige OpenAI-Parameter in einer Anfrage angeben​

Weisen Sie LiteLLM an, spezifische OpenAI-Parameter in einer Anfrage zuzulassen. Verwenden Sie dies, wenn Sie eine litellm.UnsupportedParamsError erhalten und einen Parameter zulassen möchten. LiteLLM übergibt den Parameter unverändert an das Modell.

In diesem Beispiel übergeben wir allowed_openai_params=["tools"], um den Parameter tools zuzulassen.

Übergabe von allowed_openai_params an das LiteLLM Python SDK
await litellm.acompletion(
    model="azure/o_series/<my-deployment-name>",
    api_key="xxxxx",
    api_base=api_base,
    messages=[{"role": "user", "content": "Hello! return a json object"}],
    tools=[{"type": "function", "function": {"name": "get_current_time", "description": "Get the current time in a given location.", "parameters": {"type": "object", "properties": {"location": {"type": "string", "description": "The city name, e.g. San Francisco"}}, "required": ["location"]}}}]
    allowed_openai_params=["tools"],
)