Zum Hauptinhalt springen

Microsoft SSO: Gruppen, Mitglieder mit LiteLLM synchronisieren

Microsoft Entra ID-Gruppen und Mitglieder mit LiteLLM Teams synchronisieren.



Voraussetzungen​

  • Ein Azure Entra ID-Konto mit Administratorzugriff
  • Eine LiteLLM Enterprise App, die in Ihrem Azure Portal eingerichtet ist
  • Zugriff auf Microsoft Entra ID (Azure AD)

Übersicht dieses Tutorials​

  1. Automatische Erstellung von Entra ID-Gruppen in LiteLLM Teams
  2. Synchronisierung von Entra ID-Teammitgliedschaften
  3. Festlegen von Standardparametern fĂĽr neu erstellte Teams und Benutzer in LiteLLM

1. Automatische Erstellung von Entra ID-Gruppen in LiteLLM Teams​

In diesem Schritt ist es unser Ziel, dass LiteLLM automatisch ein neues Team in der LiteLLM-Datenbank erstellt, wenn eine neue Gruppe zur LiteLLM Enterprise App in Azure Entra ID hinzugefĂĽgt wird.

1.1 Erstellen einer neuen Gruppe in Entra ID​

Navigieren Sie zu Ihrem Azure Portal > Gruppen > Neue Gruppe. Erstellen Sie eine neue Gruppe.

1.2 Zuweisen der Gruppe zu Ihrer LiteLLM Enterprise App​

Navigieren Sie in Ihrem Azure Portal zu Enterprise-Anwendungen > Wählen Sie Ihre LiteLLM-App aus



Sobald Sie Ihre LiteLLM-App ausgewählt haben, klicken Sie auf Benutzer und Gruppen > Benutzer/Gruppe hinzufügen


Wählen Sie nun die in Schritt 1.1 erstellte Gruppe aus. Und fügen Sie sie zur LiteLLM Enterprise App hinzu. An diesem Punkt haben wir Production LLM Evals Group zur LiteLLM Enterprise App hinzugefügt. Die nächsten Schritte bestehen darin, dass LiteLLM Production LLM Evals Group automatisch in der LiteLLM-Datenbank erstellt, wenn sich ein neuer Benutzer anmeldet.

1.3 Anmelden an der LiteLLM UI über SSO​

Melden Sie sich über SSO an der LiteLLM UI an. Sie sollten zur Entra ID SSO-Seite weitergeleitet werden. Dieser SSO-Anmeldevorgang löst LiteLLM aus, um die neuesten Gruppen und Mitglieder von Azure Entra ID abzurufen.

1.4 Überprüfen des neuen Teams in der LiteLLM UI​

Navigieren Sie in der LiteLLM UI zu Teams. Sie sollten das neue Team Production LLM Evals Group automatisch in LiteLLM erstellt sehen.

Wie das funktioniert​

Wenn sich ein SSO-Benutzer bei LiteLLM anmeldet

  • LiteLLM ruft automatisch die Gruppen unter der LiteLLM Enterprise App ab
  • Es findet die Production LLM Evals Group, die der LiteLLM Enterprise App zugewiesen ist
  • LiteLLM prĂĽft, ob die ID dieser Gruppe in der LiteLLM Teams-Tabelle vorhanden ist
  • Da die ID nicht existiert, erstellt LiteLLM automatisch ein neues Team mit
    • Name: Production LLM Evals Group
    • ID: Gleich der ID der Entra ID-Gruppe

2. Synchronisieren von Entra ID-Teammitgliedschaften​

In diesem Schritt wird LiteLLM automatisch einen Benutzer zum Team Production LLM Evals in der LiteLLM-Datenbank hinzufĂĽgen, wenn ein neuer Benutzer zur Gruppe Production LLM Evals in Entra ID hinzugefĂĽgt wird.

2.1 Navigieren Sie zur Gruppe Production LLM Evals in Entra ID​

Navigieren Sie zur Gruppe Production LLM Evals in Entra ID.

2.2 Hinzufügen eines Mitglieds zur Gruppe in Entra ID​

Wählen Sie Mitglieder > Mitglieder hinzufügen

In diesem Stadium sollten Sie den Benutzer hinzufügen, den Sie zum Team Production LLM Evals hinzufügen möchten.

2.3 Anmelden als neuer Benutzer in der LiteLLM UI​

Melden Sie sich als neuer Benutzer in der LiteLLM UI an. Sie sollten zur Entra ID SSO-Seite weitergeleitet werden. Dieser SSO-Anmeldevorgang löst LiteLLM aus, um die neuesten Gruppen und Mitglieder von Azure Entra ID abzurufen. Während dieses Schritts synchronisiert LiteLLM seine Teams und Teammitglieder mit den in Entra ID verfügbaren.

2.4 Überprüfen der Teammitgliedschaft in der LiteLLM UI​

Navigieren Sie in der LiteLLM UI zu Teams. Sie sollten das neue Team Production LLM Evals Group sehen. Da Sie nun Mitglied der Gruppe Production LLM Evals Group in Entra ID sind, sollten Sie das neue Team Production LLM Evals Group in der LiteLLM UI sehen.

3. Festlegen von Standardparametern für neu erstellte Teams in LiteLLM​

Da LiteLLM automatisch ein neues Team in der LiteLLM-Datenbank erstellt, wenn eine neue Gruppe zur LiteLLM Enterprise App in Azure Entra ID hinzugefügt wird, können wir Standardparameter für neu erstellte Teams festlegen.

Dies ermöglicht es Ihnen, ein Standardbudget, Modelle usw. für neu erstellte Teams festzulegen.

3.1 Festlegen von default_team_params in LiteLLM​

Navigieren Sie zu Ihrer LiteLLM-Konfigurationsdatei und legen Sie die folgenden Parameter fest

LiteLLM-Konfiguration mit default_team_params
litellm_settings:
  default_team_params:             # Default Params to apply when litellm auto creates a team from SSO IDP provider
    max_budget: 100                # Optional[float], optional): $100 budget for the team
    budget_duration: 30d           # Optional[str], optional): 30 days budget_duration for the team
    models: ["gpt-3.5-turbo"]      # Optional[List[str]], optional): models to be used by the team

3.2 Automatische Erstellung eines neuen Teams in LiteLLM​

  • In diesem Schritt sollten Sie eine neue Gruppe zur LiteLLM Enterprise App in Azure Entra ID hinzufĂĽgen (wie wir es in Schritt 1.1 getan haben). Wir werden diese Gruppe in Azure Entra ID Default LiteLLM Prod Team nennen.
  • Starten Sie den LiteLLM Proxy-Server mit Ihrer Konfiguration
  • Anmelden an der LiteLLM UI ĂĽber SSO
  • Navigieren Sie zu Teams und Sie sollten das neue Team Default LiteLLM Prod Team automatisch in LiteLLM erstellt sehen
  • Hinweis: LiteLLM wird die Standardparameter fĂĽr dieses neue Team festlegen.

Video-Walkthrough​

Dies fĂĽhrt durch die Einrichtung von SSO-automatischem HinzufĂĽgen fĂĽr Microsoft Entra ID

Folgen Sie diesem Video fĂĽr eine Schritt-fĂĽr-Schritt-Anleitung, wie Sie dies mit Microsoft Entra ID einrichten