NLP Cloud

LiteLLM unterstützt alle LLMs auf NLP Cloud.

API-Schlüssel

import os 

os.environ["NLP_CLOUD_API_KEY"] = "your-api-key"

Beispielverwendung

import os
from litellm import completion 

# set env
os.environ["NLP_CLOUD_API_KEY"] = "your-api-key" 

messages = [{"role": "user", "content": "Hey! how's it going?"}]
response = completion(model="dolphin", messages=messages)
print(response)

streaming

Setzen Sie einfach stream=True, wenn Sie die Vervollständigung aufrufen.

import os
from litellm import completion 

# set env
os.environ["NLP_CLOUD_API_KEY"] = "your-api-key" 

messages = [{"role": "user", "content": "Hey! how's it going?"}]
response = completion(model="dolphin", messages=messages, stream=True)
for chunk in response:
    print(chunk["choices"][0]["delta"]["content"])  # same as openai format

non-dolphin Modelle

Standardmäßig ordnet LiteLLM dolphin und chatdolphin NLP Cloud zu.

Wenn Sie versuchen, ein anderes Modell (z. B. GPT-J, Llama-2 usw.) mit NLP Cloud aufzurufen, legen Sie es einfach als Ihren benutzerdefinierten LLM-Anbieter fest.

import os
from litellm import completion 

# set env - [OPTIONAL] replace with your nlp cloud key
os.environ["NLP_CLOUD_API_KEY"] = "your-api-key" 

messages = [{"role": "user", "content": "Hey! how's it going?"}]

# e.g. to call Llama2 on NLP Cloud
response = completion(model="nlp_cloud/finetuned-llama-2-70b", messages=messages, stream=True)
for chunk in response:
    print(chunk["choices"][0]["delta"]["content"])  # same as openai format