provider_specific_params

Provider-spezifische Parameter festlegen

Ziel: Max-Tokens für OpenAI + Cohere festlegen

1. Über completion

LiteLLM übersetzt max_tokens automatisch in die Namenskonventionen, die von diesem spezifischen Modell-Provider verwendet werden.

from litellm import completion
import os

## set ENV variables 
os.environ["OPENAI_API_KEY"] = "your-openai-key" 
os.environ["COHERE_API_KEY"] = "your-cohere-key" 

messages = [{ "content": "Hello, how are you?","role": "user"}]

# openai call
response = completion(model="gpt-3.5-turbo", messages=messages, max_tokens=100)

# cohere call
response = completion(model="command-nightly", messages=messages, max_tokens=100)
print(response)

2. Über anbieterspezifische Konfiguration

Für jeden Provider in LiteLLM haben wir deren spezifische Parameter (gemäß deren Namenskonventionen usw.) erhalten. Sie können diese für diesen Provider festlegen, indem Sie den Provider über litellm.<provider_name>Config aufrufen.

Alle Provider-Konfigurationen sind typisiert und verfügen über Docstrings, sodass Sie sie in VSCode automatisch vervollständigen lassen und eine Erklärung erhalten sollten, was sie bedeuten.

Hier ist ein Beispiel für das Festlegen von max-Tokens über Provider-Konfigurationen.