Zum Hauptinhalt springen

Aim Security

Schnellstart​

1. Einen neuen Aim Guard erstellen​

Gehen Sie zu Aim Application und erstellen Sie einen neuen Guard.

Wählen Sie bei Aufforderung die API-Option und benennen Sie Ihren Guard.

Hinweis

Wenn Sie Ihren Guard On-Premise hosten möchten, können Sie diese Option aktivieren, indem Sie Aim Outpost installieren, bevor Sie den Guard erstellen.

2. Konfigurieren Sie Ihre Aim Guard-Richtlinien​

Auf der Seite des neu erstellten Guards finden Sie einen Verweis zum Prompt-Richtlinienzentrum dieses Guards.

Sie können entscheiden, welche Erkennungen aktiviert werden sollen, und die Schwelle für jede Erkennung festlegen.

Info

Wenn Sie LiteLLM mit virtuellen Schlüsseln verwenden, können schlüsselspezifische Richtlinien direkt auf der Guard-Seite von Aim festgelegt werden, indem Sie den Alias des virtuellen Schlüssels bei der Erstellung des Guards angeben.

Nur die Aliase Ihrer virtuellen Schlüssel (und nicht die tatsächlichen Schlüsselgeheimnisse) werden an Aim gesendet.

3. Fügen Sie Aim Guardrail zu Ihrer LiteLLM config.yaml hinzu​

Definieren Sie Ihre Guardrails unter dem Abschnitt guardrails

model_list:
  - model_name: gpt-3.5-turbo
    litellm_params:
      model: openai/gpt-3.5-turbo
      api_key: os.environ/OPENAI_API_KEY

guardrails:
  - guardrail_name: aim-protected-app
    litellm_params:
      guardrail: aim
      mode: [pre_call, post_call] # "During_call" is also available
      api_key: os.environ/AIM_API_KEY
      api_base: os.environ/AIM_API_BASE # Optional, use only when using a self-hosted Aim Outpost

Unter api_key fügen Sie den zugewiesenen API-Schlüssel ein. Der Schlüssel befindet sich auf der Guard-Seite. Sie können AIM_API_KEY auch als Umgebungsvariable festlegen.

Standardmäßig ist api_base auf https://api.aim.security gesetzt. Wenn Sie ein selbst gehostetes Aim Outpost verwenden, können Sie api_base auf die URL Ihres Outposts setzen.

4. Starten Sie das LiteLLM Gateway​

litellm --config config.yaml

5. Machen Sie Ihre erste Anfrage​

Hinweis

Das folgende Beispiel hängt von der Aktivierung der PII-Erkennung in Ihrem Guard ab. Sie können den Inhalt der Anfrage an die Richtlinien verschiedener Guards anpassen.

Hinweis

Wenn Sie LiteLLM mit virtuellen SchlĂĽsseln verwenden, ist ein Authorization-Header mit dem virtuellen SchlĂĽssel erforderlich.

curl -i https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is ishaan@berri.ai"}
    ],
    "guardrails": ["aim-protected-app"]
  }'

Wenn korrekt konfiguriert, da ishaan@berri.ai vom Aim Guard als PII erkannt würde, erhalten Sie eine ähnliche Antwort wie die folgende mit dem Statuscode 400 Bad Request

{
  "error": {
    "message": "\"ishaan@berri.ai\" detected as email",
    "type": "None",
    "param": "None",
    "code": "400"
  }
}

Erweitert​

Aim Guard bietet benutzerspezifische Guardrail-Richtlinien, die es Ihnen ermöglichen, individuelle Richtlinien auf einzelne Benutzer anzuwenden. Um diese Funktion zu nutzen, fügen Sie die E-Mail des Endbenutzers in die Anfragesnutzlast ein, indem Sie den x-aim-user-email-Header Ihrer Anfrage setzen.

curl -i https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-aim-user-email: ishaan@berri.ai" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi what is the weather"}
    ],
    "guardrails": ["aim-protected-app"]
  }'