Snowflake

Eigenschaft	Details
Beschreibung	Die Snowflake Cortex LLM REST API ermöglicht Ihnen den Zugriff auf die COMPLETE-Funktion über HTTP POST-Anfragen
Provider-Routing in LiteLLM	snowflake/
Link zur Anbieterdokumentation	Snowflake ↗
Basis-URL	https://{account-id}.snowflakecomputing.com/api/v2/cortex/inference:complete/
Unterstützte OpenAI-Endpunkte	/chat/completions, /completions

Derzeit hat die REST-API von Snowflake keinen Endpunkt für die Embedding-Modelle snowflake-arctic-embed. Wenn Sie diese Embedding-Modelle mit Litellm verwenden möchten, können Sie sie über unseren Hugging Face-Provider aufrufen.

Hier auf Hugging Face finden Sie die Arctic Embed-Modelle hier.

Unterstützte OpenAI-Parameter

    "temperature",
    "max_tokens",
    "top_p",
    "response_format"

API SCHLÜSSEL

Snowflake hat keine API-Schlüssel. Stattdessen greifen Sie mit Ihrem JWT-Token und Ihrer Account-ID auf die Snowflake-API zu.

import os 
os.environ["SNOWFLAKE_JWT"] = "YOUR JWT"
os.environ["SNOWFLAKE_ACCOUNT_ID"] = "YOUR ACCOUNT IDENTIFIER"

Verwendung

from litellm import completion

## set ENV variables
os.environ["SNOWFLAKE_JWT"] = "YOUR JWT"
os.environ["SNOWFLAKE_ACCOUNT_ID"] = "YOUR ACCOUNT IDENTIFIER"

# Snowflake call
response = completion(
    model="snowflake/mistral-7b", 
    messages = [{ "content": "Hello, how are you?","role": "user"}]
)

Verwendung mit LiteLLM Proxy

1. Erforderliche Umgebungsvariablen

export SNOWFLAKE_JWT=""
export SNOWFLAKE_ACCOUNT_ID = ""

2. Starten Sie den Proxy~

model_list:
  - model_name: mistral-7b
    litellm_params:
        model: snowflake/mistral-7b
        api_key: YOUR_API_KEY
        api_base: https://YOUR-ACCOUNT-ID.snowflakecomputing.com/api/v2/cortex/inference:complete

litellm --config /path/to/config.yaml

3. Testen

curl --location 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--data ' {
      "model": "snowflake/mistral-7b",
      "messages": [
        {
          "role": "user",
          "content": "Hello, how are you?"
        }
      ]
    }
'