Verwendung

LiteLLM gibt das OpenAI-kompatible Nutzungsobjekt über alle Anbieter zurück.

"usage": {
    "prompt_tokens": int,
    "completion_tokens": int,
    "total_tokens": int
  }

Schnellstart

from litellm import completion
import os

## set ENV variables
os.environ["OPENAI_API_KEY"] = "your-api-key"

response = completion(
  model="gpt-3.5-turbo",
  messages=[{ "content": "Hello, how are you?","role": "user"}]
)

print(response.usage)

Streaming-Nutzung

Wenn stream_options={"include_usage": True} gesetzt ist, wird vor der Datenmeldung ein zusätzlicher Chunk gestreamt.[FERTIG]Nachricht. Das Nutzungsfeld auf diesem Chunk zeigt die Token-Nutzungsstatistiken für die gesamte Anfrage, und das Feld choices wird immer ein leeres Array sein. Alle anderen Chunks enthalten ebenfalls ein Nutzungsfeld, jedoch mit einem Nullwert.

from litellm import completion 

completion = completion(
  model="gpt-4o",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello!"}
  ],
  stream=True,
  stream_options={"include_usage": True}
)

for chunk in completion:
  print(chunk.choices[0].delta)