Bedrock Knowledge Bases

AWS Bedrock Knowledge Bases ermöglicht es Ihnen, Ihre LLMs mit den Daten Ihres Unternehmens zu verbinden, sodass Ihre Modelle spezifische Informationen für Ihr Geschäft abrufen und referenzieren können.

Eigenschaft	Details
Beschreibung	Bedrock Knowledge Bases verbindet Ihre Daten mit LLMs und ermöglicht es ihnen, die Informationen Ihres Unternehmens in ihren Antworten abzurufen und zu referenzieren.
Provider-Routing in LiteLLM	bedrock in der litellm vector_store_registry
Provider-Dokumentation	AWS Bedrock Knowledge Bases ↗

Schnellstart

LiteLLM Python SDK

Beispiel mit dem LiteLLM Python SDK

import os
import litellm

from litellm.vector_stores.vector_store_registry import VectorStoreRegistry, LiteLLM_ManagedVectorStore

# Init vector store registry with your Bedrock Knowledge Base
litellm.vector_store_registry = VectorStoreRegistry(
    vector_stores=[
        LiteLLM_ManagedVectorStore(
            vector_store_id="YOUR_KNOWLEDGE_BASE_ID",  # KB ID from AWS Bedrock
            custom_llm_provider="bedrock"
        )
    ]
)

# Make a completion request using your Knowledge Base
response = await litellm.acompletion(
    model="anthropic/claude-3-5-sonnet", 
    messages=[{"role": "user", "content": "What does our company policy say about remote work?"}],
    tools=[
        {
            "type": "file_search",
            "vector_store_ids": ["YOUR_KNOWLEDGE_BASE_ID"]
        }
    ],
)

print(response.choices[0].message.content)

LiteLLM Proxy

1. Konfigurieren Sie Ihre vector_store_registry

config.yaml

model_list:
  - model_name: claude-3-5-sonnet
    litellm_params:
      model: anthropic/claude-3-5-sonnet
      api_key: os.environ/ANTHROPIC_API_KEY

vector_store_registry:
  - vector_store_name: "bedrock-company-docs"
    litellm_params:
      vector_store_id: "YOUR_KNOWLEDGE_BASE_ID"
      custom_llm_provider: "bedrock"
      vector_store_description: "Bedrock Knowledge Base for company documents"
      vector_store_metadata:
        source: "Company internal documentation"

LiteLLM UI

Navigieren Sie in der LiteLLM UI zu Experimental > Vector Stores > Create Vector Store. Auf dieser Seite können Sie einen Vektor-Speicher mit einem Namen, einer Vektor-Speicher-ID und Anmeldeinformationen erstellen.

2. Senden Sie eine Anfrage mit dem Parameter vector_store_ids

Curl

curl https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LITELLM_API_KEY" \
  -d '{
    "model": "claude-3-5-sonnet",
    "messages": [{"role": "user", "content": "What does our company policy say about remote work?"}],
    "tools": [
        {
            "type": "file_search",
            "vector_store_ids": ["YOUR_KNOWLEDGE_BASE_ID"]
        }
    ]
  }'

OpenAI Python SDK

from openai import OpenAI

# Initialize client with your LiteLLM proxy URL
client = OpenAI(
    base_url="https://:4000",
    api_key="your-litellm-api-key"
)

# Make a completion request with vector_store_ids parameter
response = client.chat.completions.create(
    model="claude-3-5-sonnet",
    messages=[{"role": "user", "content": "What does our company policy say about remote work?"}],
    tools=[
        {
            "type": "file_search",
            "vector_store_ids": ["YOUR_KNOWLEDGE_BASE_ID"]
        }
    ]
)

print(response.choices[0].message.content)

Weiterführende Lektüre: Vektor-Speicher

• Immer auf Vektor-Speichern
• Verfügbare Vektor-Speicher auf dem litellm Proxy auflisten
• Wie LiteLLM Vektor-Speicher funktionieren