Modellverwaltung

Neue Modelle hinzufügen + Modellinformationen abrufen, ohne den Proxy neu zu starten.

In Config.yaml

model_list:
  - model_name: text-davinci-003
    litellm_params: 
      model: "text-completion-openai/text-davinci-003"
    model_info: 
      metadata: "here's additional metadata on the model" # returned via GET /model/info

Modellinformationen abrufen - /model/info

Rufen Sie detaillierte Informationen zu jedem Modell ab, das im Endpunkt /model/info aufgeführt ist, einschließlich Beschreibungen aus der Datei config.yaml und zusätzlichen Modellinformationen (z. B. max. Token, Kosten pro Eingabetoken usw.), die aus den von Ihnen festgelegten model_info und der LiteLLM-Modellkostenübersicht abgerufen werden. Sensible Details wie API-Schlüssel werden aus Sicherheitsgründen ausgeschlossen.

cURL

curl -X GET "http://0.0.0.0:4000/model/info" \
     -H "accept: application/json" \

Neues Modell hinzufügen

Fügen Sie über die API /model/new ein neues Modell zum Proxy hinzu, um Modelle ohne Neustart des Proxys hinzuzufügen.

API

curl -X POST "http://0.0.0.0:4000/model/new" \
    -H "accept: application/json" \
    -H "Content-Type: application/json" \
    -d '{ "model_name": "azure-gpt-turbo", "litellm_params": {"model": "azure/gpt-3.5-turbo", "api_key": "os.environ/AZURE_API_KEY", "api_base": "my-azure-api-base"} }'

Yaml

model_list:
  - model_name: gpt-3.5-turbo ### RECEIVED MODEL NAME ### `openai.chat.completions.create(model="gpt-3.5-turbo",...)`
    litellm_params: # all params accepted by litellm.completion() - https://github.com/BerriAI/litellm/blob/9b46ec05b02d36d6e4fb5c32321e51e7f56e4a6e/litellm/types/router.py#L297
      model: azure/gpt-turbo-small-eu ### MODEL NAME sent to `litellm.completion()` ###
      api_base: https://my-endpoint-europe-berri-992.openai.azure.com/
      api_key: "os.environ/AZURE_API_KEY_EU" # does os.getenv("AZURE_API_KEY_EU")
      rpm: 6      # [OPTIONAL] Rate limit for this deployment: in requests per minute (rpm)
    model_info: 
      my_custom_key: my_custom_value # additional model metadata

Struktur der Modellparameter

Beim Hinzufügen eines neuen Modells sollte Ihre JSON-Nutzlast der folgenden Struktur entsprechen

• model_name: Der Name des neuen Modells (erforderlich).
• litellm_params: Ein Wörterbuch mit Parametern, die spezifisch für die LiteLLM-Konfiguration sind (erforderlich).
• model_info: Ein optionales Wörterbuch, um zusätzliche Informationen über das Modell bereitzustellen.

Hier ist ein Beispiel für die Struktur Ihrer ModelParams

{
  "model_name": "my_awesome_model",
  "litellm_params": {
    "some_parameter": "some_value",
    "another_parameter": "another_value"
  },
  "model_info": {
    "author": "Your Name",
    "version": "1.0",
    "description": "A brief description of the model."
  }
}

---

Beachten Sie, dass beide Endpunkte in[BETA]enthalten sind. Möglicherweise müssen Sie die zugehörigen GitHub-Issues besuchen, die in den API-Beschreibungen verlinkt sind, um nach Updates zu suchen oder Feedback zu geben

• Modellinformationen abrufen: Issue #933
• Neues Modell hinzufügen: Issue #964

Feedback zu den Beta-Endpunkten ist wertvoll und hilft, die API für alle Benutzer zu verbessern.

Zusätzliche Modellinformationen hinzufügen

Wenn Sie einen Anzeigenamen, eine Beschreibung und Labels für Modelle hinzufügen möchten, verwenden Sie einfach model_info:

model_list:
  - model_name: "gpt-4"
    litellm_params:
      model: "gpt-4"
      api_key: "os.environ/OPENAI_API_KEY"
    model_info: # 👈 KEY CHANGE
      my_custom_key: "my_custom_value"

Verwendung

1. Fügen Sie zusätzliche Informationen zum Modell hinzu

model_list:
  - model_name: "gpt-4"
    litellm_params:
      model: "gpt-4"
      api_key: "os.environ/OPENAI_API_KEY"
    model_info: # 👈 KEY CHANGE
      my_custom_key: "my_custom_value"

2. Aufruf mit /model/info

Verwenden Sie einen Schlüssel mit Zugriff auf das Modell gpt-4.

curl -L -X GET 'http://0.0.0.0:4000/v1/model/info' \
-H 'Authorization: Bearer LITELLM_KEY' \

3. Erwartete Antwort

Zurückgegeben model_info = Ihre benutzerdefinierte model_info + (falls vorhanden) LITELLM MODEL INFO

Wie LiteLLM Model Info gefunden wird

Sagen Sie uns, wie dies verbessert werden kann!

{
    "data": [
        {
            "model_name": "gpt-4",
            "litellm_params": {
                "model": "gpt-4"
            },
            "model_info": {
                "id": "e889baacd17f591cce4c63639275ba5e8dc60765d6c553e6ee5a504b19e50ddc",
                "db_model": false,
                "my_custom_key": "my_custom_value", # 👈 CUSTOM INFO
                "key": "gpt-4", # 👈 KEY in LiteLLM MODEL INFO/COST MAP - https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
                "max_tokens": 4096,
                "max_input_tokens": 8192,
                "max_output_tokens": 4096,
                "input_cost_per_token": 3e-05,
                "input_cost_per_character": null,
                "input_cost_per_token_above_128k_tokens": null,
                "output_cost_per_token": 6e-05,
                "output_cost_per_character": null,
                "output_cost_per_token_above_128k_tokens": null,
                "output_cost_per_character_above_128k_tokens": null,
                "output_vector_size": null,
                "litellm_provider": "openai",
                "mode": "chat"
            }
        },
    ]
}