StandardLoggingPayload Spezifikation

Gefunden unter kwargs["standard_logging_object"]. Dies ist eine Standard-Payload, die für jede erfolgreiche und fehlgeschlagene Antwort protokolliert wird.

StandardLoggingPayload

Feld	Typ	Beschreibung
id	str	Eindeutige Kennung
trace_id	str	Mehrere LLM-Aufrufe, die zur selben Gesamt-Anfrage gehören, verfolgen
call_type	str	Art des Aufrufs
response_cost	float	Kosten der Antwort in USD ($)
response_cost_failure_debug_info	StandardLoggingModelCostFailureDebugInformation	Debug-Informationen, wenn die Kostenverfolgung fehlschlägt
status	StandardLoggingPayloadStatus	Status der Payload
total_tokens	int	Gesamtzahl der Tokens
prompt_tokens	int	Anzahl der Prompt-Tokens
completion_tokens	int	Anzahl der Completion-Tokens
startTime	float	Startzeit des Aufrufs
endTime	float	Endzeit des Aufrufs
completionStartTime	float	Zeit bis zum ersten Token für Streaming-Anfragen
response_time	float	Gesamte Antwortzeit. Bei Streaming ist dies die Zeit bis zum ersten Token
model_map_information	StandardLoggingModelInformation	Modellzuordnungsinformationen
model	str	Im Request gesendeter Modellname
model_id	Optional[str]	Modell-ID der verwendeten Bereitstellung
model_group	Optional[str]	Für die Anfrage verwendete model_group
api_base	str	LLM API Basis-URL
metadata	StandardLoggingMetadata	Metadateninformationen
cache_hit	Optional[bool]	Ob der Cache getroffen wurde
cache_key	Optional[str]	Optionaler Cache-Schlüssel
saved_cache_cost	float	Durch den Cache gesparte Kosten
request_tags	list	Liste der Request-Tags
end_user	Optional[str]	Optionale Kennung des Endbenutzers
requester_ip_address	Optional[str]	Optionale IP-Adresse des Anfragenden
messages	Optional[Union[str, list, dict]]	Im Request gesendete Nachrichten
response	Optional[Union[str, list, dict]]	LLM-Antwort
error_str	Optional[str]	Optionaler Fehlerstring
error_information	Optional[StandardLoggingPayloadErrorInformation]	Optionale Fehlerinformationen
model_parameters	dict	Modellparameter
hidden_params	StandardLoggingHiddenParams	Versteckte Parameter

StandardLoggingUserAPIKeyMetadata

Feld	Typ	Beschreibung
user_api_key_hash	Optional[str]	Hash des litellm virtuellen Schlüssels
user_api_key_alias	Optional[str]	Alias des API-Schlüssels
user_api_key_org_id	Optional[str]	Organisation-ID, die mit dem Schlüssel verbunden ist
user_api_key_team_id	Optional[str]	Team-ID, die mit dem Schlüssel verbunden ist
user_api_key_user_id	Optional[str]	Benutzer-ID, die mit dem Schlüssel verbunden ist
user_api_key_team_alias	Optional[str]	Team-Alias, der mit dem Schlüssel verbunden ist

StandardLoggingMetadata

Erbt von StandardLoggingUserAPIKeyMetadata und fügt hinzu

Feld	Typ	Beschreibung
spend_logs_metadata	Optional[dict]	Schlüssel-Wert-Paare für Ausgabenprotokollierung
requester_ip_address	Optional[str]	IP-Adresse des Anfragenden
requester_metadata	Optional[dict]	Zusätzliche Metadaten des Anfragenden
vector_store_request_metadata	Optional[List[StandardLoggingVectorStoreRequest]]	Metadaten der Vektorspeicher-Anfrage
requester_custom_headers	Dict[str, str]	Beliebige benutzerdefinierte (x-) Header, die vom Client an den Proxy gesendet werden.
guardrail_information	Optional[StandardLoggingGuardrailInformation]	Guardrail-Informationen

StandardLoggingVectorStoreRequest

Feld	Typ	Beschreibung
vector_store_id	Optional[str]	ID des Vektorspeichers
custom_llm_provider	Optional[str]	Benutzerdefinierter LLM-Anbieter, mit dem der Vektorspeicher verbunden ist (z. B. bedrock, openai, anthropic)
query	Optional[str]	Abfrage an den Vektorspeicher
vector_store_search_response	Optional[VectorStoreSearchResponse]	Vektorspeicher-Suchantwort im OpenAI-Format
start_time	Optional[float]	Startzeit der Vektorspeicher-Anfrage
end_time	Optional[float]	Endzeit der Vektorspeicher-Anfrage

StandardLoggingAdditionalHeaders

Feld	Typ	Beschreibung
x_ratelimit_limit_requests	int	Ratenbegrenzung für Anfragen
x_ratelimit_limit_tokens	int	Ratenbegrenzung für Tokens
x_ratelimit_remaining_requests	int	Verbleibende Anfragen in der Ratenbegrenzung
x_ratelimit_remaining_tokens	int	Verbleibende Tokens in der Ratenbegrenzung

StandardLoggingHiddenParams

Feld	Typ	Beschreibung
model_id	Optional[str]	Optionaler Modellname
cache_key	Optional[str]	Optionaler Cache-Schlüssel
api_base	Optional[str]	Optionale API-Basis-URL
response_cost	Optional[str]	Optionale Antwortkosten
additional_headers	Optional[StandardLoggingAdditionalHeaders]	Zusätzliche Header
batch_models	Optional[List[str]]	Nur für die Batches API gesetzt. Listet die für die Kostenberechnung verwendeten Modelle auf
litellm_model_name	Optional[str]	Im Request gesendeter Modellname

StandardLoggingModelInformation

Feld	Typ	Beschreibung
model_map_key	str	Modellzuordnungsschlüssel
model_map_value	Optional[ModelInfo]	Optionale Modellinformationen

StandardLoggingModelCostFailureDebugInformation

Feld	Typ	Beschreibung
error_str	str	Fehlerstring
traceback_str	str	Traceback-String
model	str	Modellname
cache_hit	Optional[bool]	Ob der Cache getroffen wurde
custom_llm_provider	Optional[str]	Optional benutzerdefinierter LLM-Anbieter
base_model	Optional[str]	Optionales Basismodell
call_type	str	Call-Typ
custom_pricing	Optional[bool]	Ob benutzerdefinierte Preise verwendet wurden

StandardLoggingPayloadErrorInformation

Feld	Typ	Beschreibung
error_code	Optional[str]	Optionaler Fehlercode (z. B. "429")
error_class	Optional[str]	Optionaler Fehlerklasse (z. B. "RateLimitError")
llm_provider	Optional[str]	LLM-Anbieter, der den Fehler zurückgegeben hat (z. B. "openai")`

StandardLoggingPayloadStatus

Ein Literal-Typ mit zwei möglichen Werten

• "success"
• "failure"

StandardLoggingGuardrailInformation

Feld	Typ	Beschreibung
guardrail_name	Optional[str]	Guardrail-Name
guardrail_mode	Optional[Union[GuardrailEventHooks, List[GuardrailEventHooks]]]	Guardrail-Modus
guardrail_request	Optional[dict]	Guardrail-Anfrage
guardrail_response	Optional[Union[dict, str, List[dict]]]	Guardrail-Antwort
guardrail_status	Literal["success", "failure"]	Guardrail-Status
start_time	Optional[float]	Startzeit des Guardrails
end_time	Optional[float]	Endzeit des Guardrails
duration	Optional[float]	Dauer des Guardrails in Sekunden
masked_entity_count	Optional[Dict[str, int]]	Anzahl der maskierten Entitäten