Zum Hauptinhalt springen

CLI-Argumente

Cli Argumente, --host, --port, --num_workers

--host​

  • Standard: '0.0.0.0'
  • Der Host, auf dem der Server lauschen soll.
  • Verwendung 
    litellm --host 127.0.0.1
  • Verwendung - Umgebungsvariable setzen: HOST
    export HOST=127.0.0.1
    litellm

--port​

  • Standard: 4000
  • Der Port, an den der Server gebunden werden soll.
  • Verwendung 
    litellm --port 8080
  • Verwendung - Umgebungsvariable setzen: PORT
    export PORT=8080
    litellm

--num_workers​

  • Standard: 1
  • Die Anzahl der zu startenden Uvicorn-Worker.
  • Verwendung 
    litellm --num_workers 4
  • Verwendung - Umgebungsvariable setzen: NUM_WORKERS
    export NUM_WORKERS=4
    litellm

--api_base​

  • Standard: None
  • Die API-Basis, die LiteLLM aufrufen soll.
  • Verwendung 
    litellm --model huggingface/tinyllama --api_base https://k58ory32yinf1ly0.us-east-1.aws.endpoints.huggingface.cloud

--api_version​

  • Standard: None
  • FĂĽr Azure-Dienste, geben Sie die API-Version an.
  • Verwendung 
    litellm --model azure/gpt-deployment --api_version 2023-08-01 --api_base https://<your api base>"

--model oder -m​

  • Standard: None
  • Der Modellname, der an LiteLLM ĂĽbergeben wird.
  • Verwendung 
    litellm --model gpt-3.5-turbo

--test​

  • Typ: bool (Flag)
  • Leitet Chat-Vervollständigungs-URLs weiter, um eine Testanfrage zu stellen.
  • Verwendung 
    litellm --test

--health​

  • Typ: bool (Flag)
  • FĂĽhrt einen Integritätscheck fĂĽr alle Modelle in config.yaml durch.
  • Verwendung 
    litellm --health

--alias​

  • Standard: None
  • Ein Alias fĂĽr das Modell, zur benutzerfreundlichen Referenz.
  • Verwendung 
    litellm --alias my-gpt-model

--debug​

  • Standard: False
  • Typ: bool (Flag)
  • Aktiviert den Debug-Modus fĂĽr die Eingabe.
  • Verwendung 
    litellm --debug
  • Verwendung - Umgebungsvariable setzen: DEBUG
    export DEBUG=True
    litellm

--detailed_debug​

  • Standard: False
  • Typ: bool (Flag)
  • Aktiviert den Debug-Modus fĂĽr die Eingabe.
  • Verwendung 
    litellm --detailed_debug
  • Verwendung - Umgebungsvariable setzen: DETAILED_DEBUG
    export DETAILED_DEBUG=True
    litellm

--temperature​

  • Standard: None
  • Typ: float
  • Stellt die Temperatur fĂĽr das Modell ein.
  • Verwendung 
    litellm --temperature 0.7

--max_tokens​

  • Standard: None
  • Typ: int
  • Stellt die maximale Anzahl von Tokens fĂĽr die Modellausgabe ein.
  • Verwendung 
    litellm --max_tokens 50

--request_timeout​

  • Standard: 6000
  • Typ: int
  • Stellt das Timeout in Sekunden fĂĽr Vervollständigungsaufrufe ein.
  • Verwendung 
    litellm --request_timeout 300

--drop_params​

  • Typ: bool (Flag)
  • Ignoriert nicht zugeordnete Parameter.
  • Verwendung 
    litellm --drop_params

--add_function_to_prompt​

  • Typ: bool (Flag)
  • Wenn eine Funktion ĂĽbergeben wird, die nicht unterstĂĽtzt wird, wird sie als Teil des Prompts ĂĽbergeben.
  • Verwendung 
    litellm --add_function_to_prompt

--config​

  • Konfiguriert LiteLLM durch Angabe eines Konfigurationsdateipfads.
  • Verwendung 
    litellm --config path/to/config.yaml

--telemetry​

  • Standard: True
  • Typ: bool
  • Hilft bei der Nachverfolgung der Nutzung dieser Funktion.
  • Verwendung 
    litellm --telemetry False

--log_config​

  • Standard: None
  • Typ: str
  • Gibt eine Protokollierungskonfigurationsdatei fĂĽr Uvicorn an.
  • Verwendung 
    litellm --log_config path/to/log_config.conf