Ein Beitrag mit dem Tag "finetuning"

alerting, prometheus, secret management, management endpoints, ui, prompt management, finetuning, batch

Neue / Aktualisierte Modelle​

1. Mistral Large Preisgestaltung - https://github.com/BerriAI/litellm/pull/7452
2. Cohere command-r7b-12-2024 Preisgestaltung - https://github.com/BerriAI/litellm/pull/7553/files
3. Voyage - neue Modelle, Preise und Kontextfensterinformationen - https://github.com/BerriAI/litellm/pull/7472
4. Anthropic - max_output_tokens für Bedrock Claude-3-5-Haiku auf 8192 erhöhen

Allgemeine Proxy-Verbesserungen​

1. Health-Check-Unterstützung für Echtzeitmodelle
2. Unterstützt das Aufrufen von Azure-Echtzeitrouten über virtuelle Schlüssel
3. Unterstützt benutzerdefinierte Tokenizer auf /utils/token_counter - nützlich beim Überprüfen der Token-Anzahl für selbst gehostete Modelle
4. Anforderungspriorisierung - unterstützt auch auf dem /v1/completion-Endpunkt

LLM-Übersetzungsverbesserungen​

1. Deepgram STT-Unterstützung. Hier starten
2. OpenAI Moderationen - Unterstützung für omni-moderation-latest. Hier starten
3. Azure O1 - Fake-Streaming-Unterstützung. Dies stellt sicher, dass die Antwort gestreamt wird, wenn stream=true übergeben wird. Hier starten
4. Anthropic - Behandlung von Nicht-Leerzeichen-Zeichen als Stoppsequenz - PR
5. Azure OpenAI - Unterstützung für die Authentifizierung basierend auf Benutzername + Passwort von Entra ID. Hier starten
6. LM Studio - Embedding-Routen-Unterstützung. Hier starten
7. WatsonX - ZenAPIKeyAuth-Unterstützung. Hier starten

Prompt Management Verbesserungen​

1. Langfuse-Integration
2. HumanLoop-Integration
3. Unterstützung für die Verwendung von Lastverteilungsmodellen
4. Unterstützung für das Laden optionaler Parameter aus dem Prompt-Manager

Hier starten

Finetuning + Batch API Verbesserungen​

1. Verbesserte einheitliche Endpunktunterstützung für Vertex AI Finetuning - PR
2. Unterstützung für den Abruf von Vertex API Batch-Jobs hinzufügen - PR

NEUE Alerting-Integration​

PagerDuty Alerting-Integration.

Behandelt zwei Arten von Alarmen

• Hohe Ausfallrate der LLM-API. Konfigurieren Sie X Fehler in Y Sekunden, um einen Alarm auszulösen.
• Hohe Anzahl von hängenden LLM-Anfragen. Konfigurieren Sie X Hänger in Y Sekunden, um einen Alarm auszulösen.

Hier starten

Prometheus Verbesserungen​

Unterstützung für die Verfolgung von Latenz/Ausgaben/Tokens basierend auf benutzerdefinierten Metriken hinzugefügt. Hier starten

NEUE Hashicorp Secret Manager Unterstützung​

Unterstützung für das Lesen von Anmeldeinformationen + Schreiben von LLM-API-Schlüsseln. Hier starten

Management-Endpunkte / UI-Verbesserungen​

1. Organisationen erstellen und anzeigen + Organisationsadministratoren in der Proxy-UI zuweisen
2. Unterstützt das Löschen von Schlüsseln nach key_alias
3. Teams der Organisation in der UI zuweisen
4. Verhindert die Verwendung des UI-Sitzungs-Tokens für den "Testschlüssel"-Bereich
5. Anzeige des verwendeten Modells im "Testschlüssel"-Bereich
6. Unterstützt Markdown-Ausgabe im "Testschlüssel"-Bereich

Helm-Verbesserungen​

1. Verhindert Istio-Injection für den DB-Migrations-Cronjob
2. migrationJob.enabled-Variable innerhalb des Jobs verwenden

Logging-Verbesserungen​

1. braintrust logging: project_id berücksichtigen, mehr Metriken hinzufügen - https://github.com/BerriAI/litellm/pull/7613
2. Athina - Basis-URL unterstützen - ATHINA_BASE_URL
3. Lunary - Übergabe einer benutzerdefinierten übergeordneten Ausführungs-ID an LLM-Aufrufe zulassen

Git-Diff​

Dies ist der Diff zwischen v1.56.3-stable und v1.57.8-stable.

Verwenden Sie dies, um die Änderungen im Codebase zu sehen.

Git Diff