langfuse, Management-Endpunkte, UI, prometheus, Geheimnisverwaltung
Langfuse Prompt Management​
Langfuse Prompt Management wird als BETA gekennzeichnet. Dies ermöglicht uns, schnell auf Feedback zu reagieren, das wir erhalten, und den Status für Benutzer klarer zu gestalten. Wir erwarten, dass diese Funktion nächsten Monat (Februar 2025) stabil sein wird.
Ă„nderungen
- Die Client-Nachricht in der LLM API-Anfrage einschlieĂźen. (Zuvor wurde nur die Prompt-Vorlage gesendet, und die Client-Nachricht wurde ignoriert).
- Protokollieren Sie die Prompt-Vorlage in der protokollierten Anfrage (z. B. nach S3/Langfuse).
- Protokollieren Sie die 'prompt_id' und 'prompt_variables' in der protokollierten Anfrage (z. B. nach S3/Langfuse).
Team-/Organisationsverwaltung + UI-Verbesserungen​
Die Verwaltung von Teams und Organisationen in der Benutzeroberfläche ist jetzt einfacher.
Ă„nderungen
- Unterstützung für die Bearbeitung von Benutzerrollen innerhalb eines Teams in der Benutzeroberfläche.
- UnterstĂĽtzung fĂĽr die Aktualisierung der Rolle eines Teammitglieds auf Administrator ĂĽber die API -
/team/member_update - Team-Administratoren zeigen alle SchlĂĽssel fĂĽr ihr Team an.
- Organisationen mit Budgets hinzufĂĽgen
- Teams Organisationen auf der Benutzeroberfläche zuweisen
- SSO-Benutzer automatisch Teams zuweisen
Hashicorp Vault Unterstützung​
Wir unterstĂĽtzen jetzt das Schreiben von LiteLLM Virtual API-SchlĂĽsseln in Hashicorp Vault.
Benutzerdefinierte Prometheus-Metriken​
Definieren Sie benutzerdefinierte Prometheus-Metriken und verfolgen Sie Nutzung/Latenz/Anzahl der Anfragen dagegen.
Dies ermöglicht eine feinere Verfolgung - z. B. basierend auf der im Metadaten der Anfrage übergebenen Prompt-Vorlage.