deepgram, fireworks ai, vision, admin-UI, Abhängigkeits-Upgrades
Neue Modelle​
Deepgram Speech to Text​
Neue Speech-to-Text-Unterstützung für Deepgram-Modelle. Start hier
from litellm import transcription
import os
# set api keys
os.environ["DEEPGRAM_API_KEY"] = ""
audio_file = open("/path/to/audio.mp3", "rb")
response = transcription(model="deepgram/nova-2", file=audio_file)
print(f"response: {response}")
Fireworks AI - Vision Unterstützung für alle Modelle​
LiteLLM unterstützt das Inline-Einbetten von Dokumenten für Fireworks AI-Modelle. Dies ist nützlich für Modelle, die keine Vision-Modelle sind, aber dennoch Dokumente/Bilder usw. verarbeiten müssen. LiteLLM fügt #transform=inline zur URL des image_url hinzu, wenn das Modell kein Vision-Modell ist. Code ansehen
Proxy Admin UI​
- Der Tab
Test Keyzeigt das in der Antwort verwendeteModellan.
- Der Tab
Test Keyrendert Inhalte im Format.md,.py(beliebiges Code-/Markdown-Format).
Abhängigkeits-Upgrades​
- (Sicherheitsfix) Upgrade auf
fastapi==0.115.5https://github.com/BerriAI/litellm/pull/7447
Fehlerbehebungen​
- Unterstützung für Health Checks für Echtzeitmodelle hinzufügen Hier
- Fehler bei der Gesundheitsprüfung mit dem Modell für Audiotranskription https://github.com/BerriAI/litellm/issues/5999