Zum Hauptinhalt springen

Lokale Fehlersuche

Es gibt 2 Möglichkeiten für lokales Debugging - litellm._turn_on_debug() und durch Übergabe einer benutzerdefinierten Funktion completion(...logger_fn=<deine_lokale_funktion>). Warnung: Verwenden Sie _turn_on_debug() nicht in der Produktion. Es protokolliert API-Schlüssel, die möglicherweise in Protokolldateien landen.

Verbose einstellen​

Dies ist gut, um Print-Anweisungen für alles zu erhalten, was LiteLLM tut.

import litellm
from litellm import completion

litellm._turn_on_debug() # 👈 this is the 1-line change you need to make

## set ENV variables
os.environ["OPENAI_API_KEY"] = "openai key"
os.environ["COHERE_API_KEY"] = "cohere key"

messages = [{ "content": "Hello, how are you?","role": "user"}]

# openai call
response = completion(model="gpt-3.5-turbo", messages=messages)

# cohere call
response = completion("command-nightly", messages)

JSON-Protokolle​

Wenn Sie die Protokolle als JSON speichern müssen, setzen Sie einfach litellm.json_logs = True.

Wir protokollieren derzeit nur die rohe POST-Anfrage von LiteLLM als JSON -[Code anzeigen].

Feedback hier teilen

Logger-Funktion​

Aber manchmal möchten Sie nur genau sehen, was an Ihren API-Aufruf gesendet wird und was zurückgegeben wird – z. B. wenn der API-Aufruf fehlschlägt, warum passiert das? Was sind die genauen Parameter, die gesetzt werden?

In diesem Fall können Sie mit LiteLLM eine benutzerdefinierte Protokollierungsfunktion übergeben, um die Ein-/Ausgaben des Modellaufrufs anzuzeigen/zu ändern.

Hinweis: Wir erwarten, dass Sie ein Dictionary-Objekt akzeptieren.

Ihre benutzerdefinierte Funktion

def my_custom_logging_fn(model_call_dict):
    print(f"model call details: {model_call_dict}")

Vollständiges Beispiel​

from litellm import completion

def my_custom_logging_fn(model_call_dict):
    print(f"model call details: {model_call_dict}")

## set ENV variables
os.environ["OPENAI_API_KEY"] = "openai key"
os.environ["COHERE_API_KEY"] = "cohere key"

messages = [{ "content": "Hello, how are you?","role": "user"}]

# openai call
response = completion(model="gpt-3.5-turbo", messages=messages, logger_fn=my_custom_logging_fn)

# cohere call
response = completion("command-nightly", messages, logger_fn=my_custom_logging_fn)

Immer noch Probleme?​

Schreiben Sie uns unter +17708783106 oder treten Sie dem Discord bei.

Wir versprechen, Ihnen mit lite-Geschwindigkeit zu helfen ❤️