Zum Hauptinhalt springen

Galadriel

https://docs.galadriel.com/api-reference/chat-completion-API

LiteLLM unterstützt alle Modelle auf Galadriel.

API-Schlüssel​

import os 
os.environ['GALADRIEL_API_KEY'] = "your-api-key"

Beispielverwendung​

from litellm import completion
import os

os.environ['GALADRIEL_API_KEY'] = ""
response = completion(
    model="galadriel/llama3.1", 
    messages=[
       {"role": "user", "content": "hello from litellm"}
   ],
)
print(response)

Beispielverwendung - Streaming​

from litellm import completion
import os

os.environ['GALADRIEL_API_KEY'] = ""
response = completion(
    model="galadriel/llama3.1", 
    messages=[
       {"role": "user", "content": "hello from litellm"}
   ],
    stream=True
)

for chunk in response:
    print(chunk)

Unterstützte Modelle​

Serverless Endpoints​

Wir unterstützen ALLE Galadriel AI-Modelle. Geben Sie einfach galadriel/ als Präfix an, wenn Sie Completions-Anfragen senden.

Wir unterstützen sowohl den vollständigen Modellnamen als auch die vereinfachte Namensübereinstimmung.

Sie können den Modellnamen entweder mit dem vollständigen Namen oder einer vereinfachten Version angeben, z. B. llama3.1:70b.

ModellnameVereinfachter NameFunktionsaufruf
neuralmagic/Meta-Llama-3.1-8B-Instruct-FP8llama3.1 oder llama3.1:8bcompletion(model="galadriel/llama3.1", messages)
neuralmagic/Meta-Llama-3.1-70B-Instruct-quantized.w4a16llama3.1:70bcompletion(model="galadriel/llama3.1:70b", messages)
neuralmagic/Meta-Llama-3.1-405B-Instruct-quantized.w4a16llama3.1:405bcompletion(model="galadriel/llama3.1:405b", messages)
neuralmagic/Mistral-Nemo-Instruct-2407-quantized.w4a16mistral-nemo oder mistral-nemo:12bcompletion(model="galadriel/mistral-nemo", messages)