Vorhergesagte Ausgaben

Eigenschaft	Details
Beschreibung	Verwenden Sie dies, wenn der Großteil der Ausgabe des LLM im Voraus bekannt ist. Wenn Sie beispielsweise das Modell auffordern, einen Text oder Code mit nur geringfügigen Änderungen neu zu schreiben, können Sie Ihre Latenz erheblich reduzieren, indem Sie vorhergesagte Ausgaben verwenden und den vorhandenen Inhalt als Ihre Vorhersage übergeben.
Unterstützte Anbieter	openai
Link zur OpenAI-Dokumentation über vorhergesagte Ausgaben	Vorhergesagte Ausgaben ↗
Unterstützt ab LiteLLM Version	v1.51.4

Vorhergesagte Ausgaben verwenden

LiteLLM Python SDK

In diesem Beispiel wollen wir ein Stück C#-Code refaktorieren und die Eigenschaft Username in Email umwandeln

import litellm
os.environ["OPENAI_API_KEY"] = "your-api-key"
code = """
/// <summary>
/// Represents a user with a first name, last name, and username.
/// </summary>
public class User
{
    /// <summary>
    /// Gets or sets the user's first name.
    /// </summary>
    public string FirstName { get; set; }

    /// <summary>
    /// Gets or sets the user's last name.
    /// </summary>
    public string LastName { get; set; }

    /// <summary>
    /// Gets or sets the user's username.
    /// </summary>
    public string Username { get; set; }
}
"""

completion = litellm.completion(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "user",
            "content": "Replace the Username property with an Email property. Respond only with code, and with no markdown formatting.",
        },
        {"role": "user", "content": code},
    ],
    prediction={"type": "content", "content": code},
)

print(completion)

LiteLLM Proxy Server

1. Modelle in config.yaml definieren

model_list:
  - model_name: gpt-4o-mini # OpenAI gpt-4o-mini
    litellm_params:
      model: openai/gpt-4o-mini
      api_key: os.environ/OPENAI_API_KEY 

2. Führen Sie den Proxy-Server aus

litellm --config config.yaml

3. Testen Sie es mit dem OpenAI Python SDK

from openai import OpenAI

client = OpenAI(
    api_key="LITELLM_PROXY_KEY", # sk-1234
    base_url="LITELLM_PROXY_BASE" # http://0.0.0.0:4000
)

completion = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "user",
            "content": "Replace the Username property with an Email property. Respond only with code, and with no markdown formatting.",
        },
        {"role": "user", "content": code},
    ],
    prediction={"type": "content", "content": code},
)

print(completion)