2 Beiträge mit dem Tag "db schema"

Neue Modelle / Aktualisierte Modelle​

1. Neuer OpenAI /image/variations Endpunkt BETA-Unterstützung Docs
2. Topaz API-Unterstützung auf dem OpenAI /image/variations BETA-Endpunkt Docs
3. Deepseek - r1-Unterstützung mit reasoning_content (Deepseek API, Vertex AI, Bedrock)
4. Azure - Azure O1-Preise hinzufügen Hier ansehen
5. Anthropic - -latest-Tag im Modell für die Kostenberechnung handhaben
6. Gemini-2.0-flash-thinking - Modellpreise hinzufügen (es sind 0,0) Hier ansehen
7. Bedrock - Preise für das Modell stability sd3 hinzufügen Hier ansehen (s/o Marty Sullivan)
8. Bedrock - us.amazon.nova-lite-v1:0 zur Modellkosten-Map hinzufügen Hier ansehen
9. TogetherAI - neue Together_AI Llama3.3-Modelle hinzufügen Hier ansehen

LLM-Übersetzung​

1. LM Studio -> asynchronen Embedding-Aufruf korrigieren
2. Gpt 4o Modelle - Übersetzung von response_format korrigieren
3. Bedrock Nova - unterstützte Dokumenttypen auf .md, .csv usw. erweitern Hier starten
4. Bedrock - Dokumente zur IAM-rollenbasierter Zugriffskontrolle für Bedrock - Hier starten
5. Bedrock - IAM-Rollenanmeldeinformationen bei Verwendung cachen
6. Google AI Studio (gemini/) - unterstützt 'frequency_penalty' und 'presence_penalty' von Gemini
7. Azure O1 - Modellnamensprüfung korrigieren
8. WatsonX - ZenAPIKey-Unterstützung für WatsonX Docs
9. Ollama Chat - Unterstützung für JSON-Schema-Antwortformat Hier starten
10. Bedrock - gibt den korrekten Bedrock-Statuscode und die Fehlermeldung zurück, wenn ein Fehler während des Streamings auftritt
11. Anthropic - unterstützte verschachtelte JSON-Schemata in Anthropic-Aufrufen
12. OpenAI - Vorschauunterstützung für den metadata-Parameter
    1. SDK - aktivieren über litellm.enable_preview_features = True
    2. PROXY - aktivieren über litellm_settings::enable_preview_features: true
13. Replicate - Completion-Antwort bei Status=processing erneut versuchen

Verbesserungen bei der Ausgabenverfolgung​

1. Bedrock - QA-Assertions, dass alle Bedrock-Regionenmodelle die gleichen supported_ wie das Basismodell haben
2. Bedrock - Kostenverfolgung für Bedrock Converse mit angegebenem Regionsnamen korrigieren
3. Zuverlässigkeitskorrektur von Spend Logs - wenn user im Anfragekörper als Integer statt als String übergeben wird
4. Stellt sicher, dass die Kostenverfolgung für 'base_model' über alle Endpunkte hinweg funktioniert
5. Korrekturen für die Kostenverfolgung bei Bilderzeugung
6. Anthropic - Kostenverfolgung für Endbenutzer von Anthropic korrigieren
7. JWT / OIDC Auth - Verfolgung der Endbenutzer-ID aus der JWT-Authentifizierung hinzufügen

Management Endpunkte / UI​

1. Ermöglicht es Teammitgliedern, nach dem Hinzufügen Administrator zu werden (UI + Endpunkte)
2. Neue Schaltfläche "Bearbeiten/Löschen" zum Aktualisieren der Teammitgliedschaft in der UI
3. Wenn Team-Admin - zeigt alle Team-Schlüssel an
4. Model Hub - Kosten von Modellen pro 1 Mio. Token verdeutlichen
5. Einladungslinks - Ungültige URL korrigieren
6. Neu - SpendLogs Table Viewer - Ermöglicht Proxy-Admins das Anzeigen von Spend-Protokollen in der UI
   1. Neue Spend-Protokolle - Ermöglicht Proxy-Admins, das Protokollieren von Anfragen/Antworten in der Spend-Protokoll-Tabelle zu aktivieren - ermöglicht einfachere Missbrauchserkennung
   2. Herkunftsland in Spend-Protokollen anzeigen
   3. Paginierung + Filterung nach Schlüsselname/Teamname hinzufügen
7. /key/delete - Ermöglicht Team-Admins das Löschen von Team-Schlüsseln
8. Interner Benutzer "Ansicht" - Spendkalkulation korrigieren, wenn ein Team ausgewählt ist
9. Modellanalysen sind jetzt kostenlos
10. Nutzungsseite - zeigt Tage mit Spenden = 0 an und rundet Spenden in Diagrammen auf 2 signifikante Stellen
11. Öffentliche Teams - Ermöglicht Administratoren, Teams für neue Benutzer zum "Beitreten" in der UI anzuzeigen - Hier starten
12. Guardrails
    1. Guardrails für einen virtuellen Schlüssel festlegen/bearbeiten
    2. Guardrails für ein Team festlegen
    3. Guardrails auf der Erstellungs- und Bearbeitungsseite für Teams festlegen
13. Unterstützt temporäre Budgeterhöhungen bei /key/update - neue Felder temp_budget_increase und temp_budget_expiry - Hier starten
14. Unterstützt das Schreiben neuer Schlüssel-Aliase in AWS Secret Manager - bei Schlüsselrotation Hier starten

Helm​

1. securityContext und pull policy-Werte zum Migrationsjob hinzufügen (s/o https://github.com/Hexoplon)
2. Umgebungsvariablen in values.yaml festlegen
3. neuer Helm Lint-Test

Logging / Guardrail Integrationen​

1. Verwendeten Prompt protokollieren, wenn Prompt-Management verwendet wird. Hier starten
2. Unterstützung für S3-Protokollierung mit Team-Alias-Präfixen - Hier starten
3. Prometheus Hier starten
   1. Korrigiert, dass die Metrik litellm_llm_api_time_to_first_token für Bedrock-Modelle nicht befüllt wird
   2. Restliches Team-Budget-Metrik regelmäßig ausgeben (auch wenn kein Aufruf erfolgt) - ermöglicht stabilere Metriken auf Grafana/etc.
   3. Schlüssel- und Teamebene-Budget-Metriken hinzufügen
   4. litellm_overhead_latency_metric ausgeben
   5. litellm_team_budget_reset_at_metric und litellm_api_key_budget_remaining_hours_metric ausgeben
4. Datadog - Unterstützt das Protokollieren von Spend-Tags in Datadog. Hier starten
5. Langfuse - Protokollierung von Request-Tags korrigieren, aus Standard-Logging-Payload lesen
6. GCS - Payload bei der Protokollierung nicht abschneiden
7. Neue GCS Pub/Sub Logging-Unterstützung Hier starten
8. AIM Guardrails-Unterstützung hinzufügen Hier starten

Sicherheit​

1. Neue Enterprise SLA für die Behebung von Sicherheitslücken. Hier ansehen
2. Hashicorp - Unterstützt die Verwendung von Vault-Namespaces für TLS-Authentifizierung. Hier starten
3. Azure - DefaultAzureCredential-Unterstützung

Health Checks​

1. Bereinigt Modellnamen nur für Preise aus der Wildcard-Routenliste - verhindert fehlerhafte Health Checks
2. Ermöglicht die Angabe eines Health-Check-Modells für Wildcard-Routen - https://docs.litellm.de/docs/proxy/health#wildcard-routes
3. Neuer Parameter health_check_timeout mit einem Standard-Oberlimit von 1 Minute, um zu verhindern, dass ein fehlerhaftes Modell den Health Check blockiert und Pod-Neustarts verursacht. Hier starten
4. Datadog - fügt Datadog Service Health Check hinzu + stellt den neuen Endpunkt /health/services bereit. Hier starten

Leistungs- / Zuverlässigkeitsverbesserungen​

1. 3x Erhöhung der RPS - Wechsel zu orjson für das Lesen des Anfragekörpers
2. LLM-Routing-Beschleunigung - Verwendung von gecachtem Modellgruppeninformationsabruf
3. SDK-Beschleunigung - Verwendung von gecachtem Modellinformationshelfer - reduziert CPU-Arbeit für den Abruf von Modellinformationen
4. Proxy-Beschleunigung - liest den Anfragekörper nur 1 Mal pro Anfrage
5. Skripte zur Erkennung von Endlosschleifen zum Codebase hinzugefügt
6. Bedrock - reine asynchrone Bildtransformationsanfragen
7. Wartezeiten - Einzelnes Deployment-Modellgruppe, wenn 100% der Aufrufe bei hohem Datenverkehr fehlschlagen - verhindert, dass ein O1-Ausfall andere Aufrufe beeinträchtigt
8. Antwort-Header - geben Sie zurück
   1. x-litellm-timeout
   2. x-litellm-attempted-retries
   3. x-litellm-overhead-duration-ms
   4. x-litellm-response-duration-ms
9. Stellt sicher, dass keine doppelten Rückrufe zum Proxy hinzugefügt werden
10. Requirements.txt - certifi-Version erhöhen

Allgemeine Proxy-Verbesserungen​

1. JWT / OIDC Auth - neuer Parameter enforce_rbac, ermöglicht Proxy-Admin, alle nicht zugeordneten, aber authentifizierten JWT-Tokens vom Aufruf des Proxys abzuhalten. Hier starten
2. Korrigiert die Generierung von benutzerdefinierten OpenAPI-Schemas für angepasste Swagger-Docs
3. Anfrage-Header - unterstützt das Lesen des Parameters x-litellm-timeout aus den Anfrage-Headern. Ermöglicht die Steuerung der Modell-Timeout-Zeit bei Verwendung von Vercel's AI SDK + LiteLLM Proxy. Hier starten
4. JWT / OIDC Auth - neue role-basierte Berechtigungen für die Modellauthentifizierung. Hier ansehen

Vollständiger Git-Diff​

Dies ist der Diff zwischen v1.57.8-stable und v1.59.8-stable.

Verwenden Sie dies, um die Änderungen im Codebase zu sehen.

Git Diff

UI-Verbesserungen​

[Opt-in]Admin UI - Nachrichten / Antworten anzeigen​

Sie können jetzt Nachrichten- und Antwortprotokolle in der Admin UI anzeigen.

So aktivieren Sie es - fügen Sie store_prompts_in_spend_logs: true zu Ihrer proxy_config.yaml hinzu

Sobald dieses Flag aktiviert ist, werden Ihre messages und responses in der Tabelle LiteLLM_Spend_Logs gespeichert.

general_settings:
  store_prompts_in_spend_logs: true

Datenbankschema-Änderung​

messages und responses zur Tabelle LiteLLM_Spend_Logs hinzugefügt.

Standardmäßig wird dies nicht protokolliert. Wenn Sie möchten, dass messages und responses protokolliert werden, müssen Sie sich mit dieser Einstellung anmelden.

general_settings:
  store_prompts_in_spend_logs: true