3 Beiträge mit dem Tag "management endpoints"

v1.65.0 aktualisiert den Endpunkt `/model/new`, um zu verhindern, dass Nicht-Team-Admins Teammodelle erstellen.

Das bedeutet, dass nur Proxy-Admins oder Team-Admins Teammodelle erstellen können.

Zusätzliche Änderungen​

• Ermöglicht Team-Admins, `/model/update` aufzurufen, um Teammodelle zu aktualisieren.
• Ermöglicht Team-Admins, `/model/delete` aufzurufen, um Teammodelle zu löschen.
• Führt den neuen Parameter `user_models_only` für `/v2/model/info` ein - gibt nur Modelle zurück, die von diesem Benutzer hinzugefügt wurden.

Diese Änderungen ermöglichen es Team-Admins, Modelle für ihr Team über die LiteLLM UI + API hinzuzufügen und zu verwalten.

alerting, prometheus, secret management, management endpoints, ui, prompt management, finetuning, batch

Neue / Aktualisierte Modelle​

1. Mistral Large Preisgestaltung - https://github.com/BerriAI/litellm/pull/7452
2. Cohere command-r7b-12-2024 Preisgestaltung - https://github.com/BerriAI/litellm/pull/7553/files
3. Voyage - neue Modelle, Preise und Kontextfensterinformationen - https://github.com/BerriAI/litellm/pull/7472
4. Anthropic - max_output_tokens für Bedrock Claude-3-5-Haiku auf 8192 erhöhen

Allgemeine Proxy-Verbesserungen​

1. Health-Check-Unterstützung für Echtzeitmodelle
2. Unterstützt das Aufrufen von Azure-Echtzeitrouten über virtuelle Schlüssel
3. Unterstützt benutzerdefinierte Tokenizer auf /utils/token_counter - nützlich beim Überprüfen der Token-Anzahl für selbst gehostete Modelle
4. Anforderungspriorisierung - unterstützt auch auf dem /v1/completion-Endpunkt

LLM-Übersetzungsverbesserungen​

1. Deepgram STT-Unterstützung. Hier starten
2. OpenAI Moderationen - Unterstützung für omni-moderation-latest. Hier starten
3. Azure O1 - Fake-Streaming-Unterstützung. Dies stellt sicher, dass die Antwort gestreamt wird, wenn stream=true übergeben wird. Hier starten
4. Anthropic - Behandlung von Nicht-Leerzeichen-Zeichen als Stoppsequenz - PR
5. Azure OpenAI - Unterstützung für die Authentifizierung basierend auf Benutzername + Passwort von Entra ID. Hier starten
6. LM Studio - Embedding-Routen-Unterstützung. Hier starten
7. WatsonX - ZenAPIKeyAuth-Unterstützung. Hier starten

Prompt Management Verbesserungen​

1. Langfuse-Integration
2. HumanLoop-Integration
3. Unterstützung für die Verwendung von Lastverteilungsmodellen
4. Unterstützung für das Laden optionaler Parameter aus dem Prompt-Manager

Hier starten

Finetuning + Batch API Verbesserungen​

1. Verbesserte einheitliche Endpunktunterstützung für Vertex AI Finetuning - PR
2. Unterstützung für den Abruf von Vertex API Batch-Jobs hinzufügen - PR

NEUE Alerting-Integration​

PagerDuty Alerting-Integration.

Behandelt zwei Arten von Alarmen

• Hohe Ausfallrate der LLM-API. Konfigurieren Sie X Fehler in Y Sekunden, um einen Alarm auszulösen.
• Hohe Anzahl von hängenden LLM-Anfragen. Konfigurieren Sie X Hänger in Y Sekunden, um einen Alarm auszulösen.

Hier starten

Prometheus Verbesserungen​

Unterstützung für die Verfolgung von Latenz/Ausgaben/Tokens basierend auf benutzerdefinierten Metriken hinzugefügt. Hier starten

NEUE Hashicorp Secret Manager Unterstützung​

Unterstützung für das Lesen von Anmeldeinformationen + Schreiben von LLM-API-Schlüsseln. Hier starten

Management-Endpunkte / UI-Verbesserungen​

1. Organisationen erstellen und anzeigen + Organisationsadministratoren in der Proxy-UI zuweisen
2. Unterstützt das Löschen von Schlüsseln nach key_alias
3. Teams der Organisation in der UI zuweisen
4. Verhindert die Verwendung des UI-Sitzungs-Tokens für den "Testschlüssel"-Bereich
5. Anzeige des verwendeten Modells im "Testschlüssel"-Bereich
6. Unterstützt Markdown-Ausgabe im "Testschlüssel"-Bereich

Helm-Verbesserungen​

1. Verhindert Istio-Injection für den DB-Migrations-Cronjob
2. migrationJob.enabled-Variable innerhalb des Jobs verwenden

Logging-Verbesserungen​

1. braintrust logging: project_id berücksichtigen, mehr Metriken hinzufügen - https://github.com/BerriAI/litellm/pull/7613
2. Athina - Basis-URL unterstützen - ATHINA_BASE_URL
3. Lunary - Übergabe einer benutzerdefinierten übergeordneten Ausführungs-ID an LLM-Aufrufe zulassen

Git-Diff​

Dies ist der Diff zwischen v1.56.3-stable und v1.57.8-stable.

Verwenden Sie dies, um die Änderungen im Codebase zu sehen.

Git Diff

langfuse, Management-Endpunkte, UI, prometheus, Geheimnisverwaltung

Langfuse Prompt Management​

Langfuse Prompt Management wird als BETA gekennzeichnet. Dies ermöglicht uns, schnell auf Feedback zu reagieren, das wir erhalten, und den Status für Benutzer klarer zu gestalten. Wir erwarten, dass diese Funktion nächsten Monat (Februar 2025) stabil sein wird.

Änderungen

• Die Client-Nachricht in der LLM API-Anfrage einschließen. (Zuvor wurde nur die Prompt-Vorlage gesendet, und die Client-Nachricht wurde ignoriert).
• Protokollieren Sie die Prompt-Vorlage in der protokollierten Anfrage (z. B. nach S3/Langfuse).
• Protokollieren Sie die 'prompt_id' und 'prompt_variables' in der protokollierten Anfrage (z. B. nach S3/Langfuse).

Hier starten

Team-/Organisationsverwaltung + UI-Verbesserungen​

Die Verwaltung von Teams und Organisationen in der Benutzeroberfläche ist jetzt einfacher.

Änderungen

• Unterstützung für die Bearbeitung von Benutzerrollen innerhalb eines Teams in der Benutzeroberfläche.
• Unterstützung für die Aktualisierung der Rolle eines Teammitglieds auf Administrator über die API - /team/member_update
• Team-Administratoren zeigen alle Schlüssel für ihr Team an.
• Organisationen mit Budgets hinzufügen
• Teams Organisationen auf der Benutzeroberfläche zuweisen
• SSO-Benutzer automatisch Teams zuweisen

Hier starten

Hashicorp Vault Unterstützung​

Wir unterstützen jetzt das Schreiben von LiteLLM Virtual API-Schlüsseln in Hashicorp Vault.

Hier starten

Benutzerdefinierte Prometheus-Metriken​

Definieren Sie benutzerdefinierte Prometheus-Metriken und verfolgen Sie Nutzung/Latenz/Anzahl der Anfragen dagegen.

Dies ermöglicht eine feinere Verfolgung - z. B. basierend auf der im Metadaten der Anfrage übergebenen Prompt-Vorlage.

Hier starten