Gehosteter LiteLLM Proxy
LiteLLM kümmert sich um den Proxy, damit Sie sich auf Ihre Kernprodukte konzentrieren können.
Eingeführt werden​
Dies befindet sich in der Alpha-Phase. Vereinbaren Sie einen Anruf mit uns, und wir stellen Ihnen innerhalb von 30 Minuten einen gehosteten Proxy zur VerfĂĽgung.
Status: Alpha​
Unser Proxy wird bereits von Kunden in der Produktion eingesetzt.
Sehen Sie unsere Statusseite für Live-Zuverlässigkeit
Vorteile​
- Keine Wartung, keine Infrastruktur: Wir kümmern uns um die Wartung des Proxys und stellen zusätzliche Infrastruktur bereit (z. B. einen separaten Server für Ausgabenprotokolle), um sicherzustellen, dass Sie den Datenverkehr ausgleichen und die Ausgaben über mehrere LLM-Projekte hinweg verfolgen können.
- Zuverlässig: Unser gehosteter Proxy wurde für 1.000 Anfragen pro Sekunde getestet und ist somit für hohe Lasten zuverlässig.
- Sicher: LiteLLM durchläuft derzeit die SOC-2-Konformität, um sicherzustellen, dass Ihre Daten so sicher wie möglich sind.
Datenschutz & Sicherheit​
Hier finden Sie unsere Datenschutz- und Sicherheitsrichtlinie fĂĽr Cloud LiteLLM
Unterstützte Datenregionen für LiteLLM Cloud​
Hier finden Sie die unterstĂĽtzten Datenregionen fĂĽr LiteLLM
Preise​
Die Preise basieren auf der Nutzung. Wir können gemeinsam während des Anrufs einen Preis ermitteln, der für Ihr Team passt.
Screenshots​
1. Schlüssel erstellen​
2. Modelle hinzufügen​
3. Ausgaben verfolgen​
4. Load Balancing konfigurieren​
🚨 Anruf vereinbaren​
Funktionsliste​
- Einfache Möglichkeit, Modelle hinzuzufügen/zu entfernen
- 100% Uptime auch beim HinzufĂĽgen/Entfernen von Modellen
- benutzerdefinierte Callback-Webhooks
- Ihr Domainname mit HTTPS
- Möglichkeit, Benutzer-API-Schlüssel zu erstellen/löschen
- Angemessene monatliche Pauschalkosten