LiteLLM Proxy CLI

Das litellm-proxy CLI ist ein Befehlszeilen-Tool zur Verwaltung Ihres LiteLLM-Proxy-Servers. Es bietet Befehle zur Verwaltung von Modellen, Anmeldeinformationen, API-Schlüsseln, Benutzern und mehr sowie zum Ausführen von Chat- und HTTP-Anfragen an den Proxy-Server.

Feature	Was Sie tun können
Modellverwaltung	Modelle auflisten, hinzufügen, aktualisieren und löschen
Anmeldeinformationsverwaltung	Provider-Anmeldeinformationen verwalten
Schlüsselverwaltung	API-Schlüssel generieren, auflisten und löschen
Benutzerverwaltung	Benutzer erstellen, auflisten und löschen
Chat-Vervollständigungen	Chat-Vervollständigungen ausführen
HTTP-Anfragen	Benutzerdefinierte HTTP-Anfragen an den Proxy-Server stellen

Schnellstart

1. Installieren Sie das CLI

   Wenn Sie uv installiert haben, können Sie dies versuchen

   uvx --from=litellm[proxy] litellm-proxy

   und wenn alles funktioniert, sollten Sie etwas Ähnliches sehen

   Usage: litellm-proxy [OPTIONS] COMMAND [ARGS]...
   
   LiteLLM Proxy CLI - Manage your LiteLLM proxy server
   
   Options:
   --base-url TEXT  Base URL of the LiteLLM proxy server  [env var:
                     LITELLM_PROXY_URL]
   --api-key TEXT   API key for authentication  [env var:
                     LITELLM_PROXY_API_KEY]
   --help           Show this message and exit.
   
   Commands:
   chat         Chat with models through the LiteLLM proxy server
   credentials  Manage credentials for the LiteLLM proxy server
   http         Make HTTP requests to the LiteLLM proxy server
   keys         Manage API keys for the LiteLLM proxy server
   models       Manage models on your LiteLLM proxy server

   Wenn dies funktioniert, können Sie das Tool bequemer nutzen, indem Sie

   uv tool install litellm[proxy]

   Wenn dies funktioniert, sehen Sie etwas Ähnliches

   ...
   Installed 2 executables: litellm, litellm-proxy

   und jetzt können Sie das Tool verwenden, indem Sie einfach litellm-proxy in Ihrem Terminal eingeben

   litellm-proxy

   Wenn Sie in Zukunft ein Upgrade durchführen möchten, können Sie dies tun mit

   uv tool upgrade litellm[proxy]

   oder wenn Sie deinstallieren möchten, können Sie dies tun mit

   uv tool uninstall litellm

   Wenn Sie kein uv haben oder andernfalls pip verwenden möchten, können Sie eine virtuelle Umgebung aktivieren und das Paket manuell installieren

   pip install 'litellm[proxy]'

2. Umgebungsvariablen einrichten

   export LITELLM_PROXY_URL=https://:4000
   export LITELLM_PROXY_API_KEY=sk-your-key

   (Ersetzen Sie dies durch Ihre tatsächliche Proxy-URL und Ihren API-Schlüssel)

3. Ihre erste Anfrage stellen (Modelle auflisten)

   litellm-proxy models list

   Wenn das CLI korrekt eingerichtet ist, sollten Sie eine Liste der verfügbaren Modelle oder eine Tabellenausgabe sehen.

4. Fehlerbehebung

   • Wenn Sie einen Fehler sehen, überprüfen Sie Ihre Umgebungsvariablen und den Status Ihres Proxy-Servers.

Konfiguration

Sie können das CLI über Umgebungsvariablen oder Befehlszeilenoptionen konfigurieren

• LITELLM_PROXY_URL: Basis-URL des LiteLLM-Proxy-Servers (Standard: https://:4000)
• LITELLM_PROXY_API_KEY: API-Schlüssel für die Authentifizierung

Hauptbefehle

Modellverwaltung

• Modelle auf dem Proxy auflisten, hinzufügen, aktualisieren, abrufen und löschen.

• Beispiel

  litellm-proxy models list
  litellm-proxy models add gpt-4 \
    --param api_key=sk-123 \
    --param max_tokens=2048
  litellm-proxy models update <model-id> -p temperature=0.7
  litellm-proxy models delete <model-id>

  Verwendete API (OpenAPI)

Anmeldeinformationsverwaltung

• Anmeldeinformationen für LLM-Provider auflisten, erstellen, abrufen und löschen.

• Beispiel

  litellm-proxy credentials list
  litellm-proxy credentials create azure-prod \
    --info='{"custom_llm_provider": "azure"}' \
    --values='{"api_key": "sk-123", "api_base": "https://prod.azure.openai.com"}'
  litellm-proxy credentials get azure-cred
  litellm-proxy credentials delete azure-cred

  Verwendete API (OpenAPI)

Schlüsselverwaltung

• API-Schlüssel auflisten, generieren, Informationen abrufen und löschen.

• Beispiel

  litellm-proxy keys list
  litellm-proxy keys generate \
    --models=gpt-4 \
    --spend=100 \
    --duration=24h \
    --key-alias=my-key
  litellm-proxy keys info --key sk-key1
  litellm-proxy keys delete --keys sk-key1,sk-key2 --key-aliases alias1,alias2

  Verwendete API (OpenAPI)

Benutzerverwaltung

• Benutzer auflisten, erstellen, Informationen abrufen und löschen.

• Beispiel

  litellm-proxy users list
  litellm-proxy users create \
    --email=user@example.com \
    --role=internal_user \
    --alias="Alice" \
    --team=team1 \
    --max-budget=100.0
  litellm-proxy users get --id <user-id>
  litellm-proxy users delete <user-id>

  Verwendete API (OpenAPI)

Chat-Vervollständigungen

• Fordern Sie Chat-Vervollständigungen vom Proxy-Server an.

• Beispiel

  litellm-proxy chat completions gpt-4 -m "user:Hello, how are you?"

  Verwendete API (OpenAPI)

Allgemeine HTTP-Anfragen

• Stellen Sie direkte HTTP-Anfragen an den Proxy-Server.

• Beispiel

  litellm-proxy http request \
    POST /chat/completions \
    --json '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello"}]}'

  Alle APIs (OpenAPI)

Umgebungsvariablen

• LITELLM_PROXY_URL: Basis-URL des Proxy-Servers
• LITELLM_PROXY_API_KEY: API-Schlüssel für die Authentifizierung

Beispiele

1. Alle Modelle auflisten

   litellm-proxy models list

2. Ein neues Modell hinzufügen

   litellm-proxy models add gpt-4 \
     --param api_key=sk-123 \
     --param max_tokens=2048

3. Eine Anmeldeinformation erstellen

   litellm-proxy credentials create azure-prod \
     --info='{"custom_llm_provider": "azure"}' \
     --values='{"api_key": "sk-123", "api_base": "https://prod.azure.openai.com"}'

4. Einen API-Schlüssel generieren

   litellm-proxy keys generate \
     --models=gpt-4 \
     --spend=100 \
     --duration=24h \
     --key-alias=my-key

5. Chat-Vervollständigung

   litellm-proxy chat completions gpt-4 \
     -m "user:Write a story"

6. Benutzerdefinierte HTTP-Anfrage

   litellm-proxy http request \
     POST /chat/completions \
     --json '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello"}]}'

Fehlerbehandlung

Das CLI zeigt Fehlermeldungen für

• Server nicht erreichbar
• Authentifizierungsfehler
• Ungültige Parameter oder JSON
• Nicht vorhandene Modelle/Anmeldeinformationen
• Alle anderen Betriebsfehler

Verwenden Sie das Flag --debug für detaillierte Debugging-Ausgaben.

Für eine vollständige Befehlsreferenz und erweiterte Nutzung siehe die CLI README.