Anbieter | liteLLM

Codestral ist in ausgewählten Code-Completion-Plugins verfügbar, kann aber auch direkt abgefragt werden. Weitere Details finden Sie in der Dokumentation.

📄️ Cohere

API SCHLÜSSEL

📄️ Anyscale

https://app.endpoints.anyscale.com/

📄️ Hugging Face

LiteLLM unterstützt die Ausführung von Inferenz über mehrere Dienste für Modelle, die auf dem Hugging Face Hub gehostet werden.

📄️ Databricks

LiteLLM unterstützt alle Modelle auf Databricks

📄️ Deepgram

LiteLLM unterstützt den /listen Endpunkt von Deepgram.

📄️ IBM watsonx.ai

LiteLLM unterstützt alle grundlegenden Modelle und Embeddings von IBM watsonx.ai.

📄️ Predibase

LiteLLM unterstützt alle Modelle auf Predibase

📄️ Nvidia NIM

https://docs.api.nvidia.com/nim/reference/

📄️ Nscale (EU Sovereign)

https://docs.nscale.com/docs/inference/chat

📄️ xAI

https://docs.x.ai/docs

📄️ LM Studio

https://lmstudio.ai/docs/basics/server

📄️ Cerebras

https://inference-docs.cerebras.ai/api-reference/chat-completions

📄️ Volcano Engine (Volcengine)

https://www.volcengine.com/docs/82379/1263482

📄️ Triton Inference Server

LiteLLM unterstützt Embedding-Modelle auf Triton Inference Servern

📄️ Ollama

LiteLLM unterstützt alle Modelle von Ollama

📄️ Perplexity AI (pplx-api)

https://www.perplexity.ai

📄️ FriendliAI

Wir unterstützen ALLE FriendliAI-Modelle. Setzen Sie einfach "friendliai/" als Präfix beim Senden von Completion-Anfragen.

📄️ Galadriel

https://docs.galadriel.com/api-reference/chat-completion-API

📄️ Topaz

| Eigenschaft | Details |

📄️ Groq

https://groq.com/

📄️ 🆕 GitHub

https://github.com/marketplace/models

📄️ Deepseek

https://deepseek.com/

📄️ Fireworks AI

Wir unterstützen ALLE Fireworks AI-Modelle. Setzen Sie einfach "fireworks_ai/" als Präfix beim Senden von Completion-Anfragen.

📄️ Clarifai

Anthropic, OpenAI, Mistral, Llama und Gemini LLMs werden auf Clarifai unterstützt.

📄️ VLLM

LiteLLM unterstützt alle Modelle auf VLLM.

📄️ Llamafile

LiteLLM unterstützt alle Modelle auf Llamafile.

📄️ Infinity

| Eigenschaft | Details |

📄️ Xinference [Xorbits Inference]

https://inference.readthedocs.io/en/latest/index.html

📄️ Cloudflare Workers AI

https://developers.cloudflare.com/workers-ai/models/text-generation/

📄️ DeepInfra

https://deepinfra.com/

📄️ AI21

LiteLLM unterstützt die folgenden AI21-Modelle

📄️ NLP Cloud

LiteLLM unterstützt alle LLMs auf NLP Cloud.

📄️ Replicate

LiteLLM unterstützt alle Modelle auf Replicate

📄️ Together AI

LiteLLM unterstützt alle Modelle auf Together AI.

📄️ Novita AI

| Eigenschaft | Details |

📄️ Voyage AI

https://docs.voyageai.com/embeddings/

📄️ Jina AI

https://jina.ai/embeddings/

📄️ Aleph Alpha

LiteLLM unterstützt alle Modelle von Aleph Alpha.

📄️ Baseten

LiteLLM unterstützt beliebige Text-Gen-Interface-Modelle auf Baseten.

📄️ OpenRouter

LiteLLM unterstützt alle Text/Chat/Vision-Modelle von OpenRouter

📄️ SambaNova

https://cloud.sambanova.ai/

📄️ Benutzerdefinierter API-Server (benutzerdefiniertes Format)

Rufen Sie Ihre benutzerdefinierten torch-serve / internen LLM-APIs über LiteLLM auf

📄️ Petals

Petals//github.com/bigscience-workshop/petals

📄️ Snowflake

| Eigenschaft | Details |

📄️ Featherless AI

https://featherless.ai/