Zum Hauptinhalt springen

Verwendung von Fine-Tuned gpt-3.5-turbo

LiteLLM ermöglicht es Ihnen, completion mit Ihren feingetunten gpt-3.5-turbo Modellen aufzurufen. Wenn Sie Ihr eigenes feingetuntes gpt-3.5-turbo Modell erstellen möchten, folgen Sie diesem Tutorial: https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset

Sobald Sie Ihr feingetuntes Modell erstellt haben, können Sie es mit litellm.completion() aufrufen.

Verwendung​

import os
from litellm import completion

# LiteLLM reads from your .env
os.environ["OPENAI_API_KEY"] = "your-api-key"

response = completion(
  model="ft:gpt-3.5-turbo:my-org:custom_suffix:id",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello!"}
  ]
)

print(response.choices[0].message)

Verwendung - Festlegen der OpenAI-Organisations-ID​

LiteLLM ermöglicht es Ihnen, Ihre OpenAI-Organisation bei Aufrufen von OpenAI LLMs anzugeben. Weitere Details hier: Festlegen der Organisations-ID Dies kann auf eine der folgenden Arten erfolgen:

  • Umgebungsvariable OPENAI_ORGANIZATION
  • Parameter fĂĽr litellm.completion(model=model, organization="ihre-organisations-id")
  • Als litellm.organization="ihre-organisations-id" festlegen
import os
from litellm import completion

# LiteLLM reads from your .env
os.environ["OPENAI_API_KEY"] = "your-api-key"
os.environ["OPENAI_ORGANIZATION"] = "your-org-id" # Optional

response = completion(
  model="ft:gpt-3.5-turbo:my-org:custom_suffix:id",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello!"}
  ]
)

print(response.choices[0].message)