Zum Hauptinhalt springen

Migrationsanleitung - LiteLLM v1.0.0+

Wenn wir Breaking Changes haben (d.h. von 1.x.x zu 2.x.x), werden wir diese Änderungen hier dokumentieren.

1.0.0​

Letzte Version vor Breaking Change: 0.14.0

Was hat sich geändert?

  • Benötigt openai>=1.0.0
  • openai.InvalidRequestError â†’ openai.BadRequestError
  • openai.ServiceUnavailableError → openai.APIStatusError
  • NEUER litellm Client, erlaubt Benutzern die Ãœbergabe von api_key
    • litellm.Litellm(api_key="sk-123")
  • Response-Objekte erben nun von BaseModel (zuvor OpenAIObject)
  • NEUER Standard-Exception - APIConnectionError (zuvor APIError)
  • litellm.get_max_tokens() gibt nun ein int statt eines dict zurück
    max_tokens = litellm.get_max_tokens("gpt-3.5-turbo") # returns an int not a dict 
    assert max_tokens==4097
  • Streaming - OpenAI Chunks geben nun None für leere Stream Chunks zurück. So verarbeitet man Stream Chunks mit Inhalt
    response = litellm.completion(model="gpt-3.5-turbo", messages=messages, stream=True)
    for part in response:
        print(part.choices[0].delta.content or "")

Wie können wir Änderungen besser kommunizieren? Sagen Sie es uns