RAG auf Amazon Bedrock: Enterprise-Wissen für KI-Anwendungen erschließen

Warum RAG das dominierende Enterprise-AI-Pattern ist

Die meisten Generative-AI-Anwendungen in Unternehmen haben ein gemeinsames Problem: Foundation Models wissen viel über die Welt, aber nichts über das Unternehmen. Interne Dokumentation, Prozessbeschreibungen, technische Handbücher und Kundendaten sind nicht Teil des Trainingskorpus.

Es gibt zwei Wege, dieses Problem zu lösen: Fine-Tuning und RAG. Fine-Tuning trainiert das Modell auf unternehmensspezifischen Daten — teuer, langsam und bei sich ändernden Daten nicht praktikabel. RAG holt relevante Dokumente zur Laufzeit aus einer externen Wissensbasis und übergibt sie dem Modell als Kontext.

RAG hat sich als dominierendes Pattern für Enterprise-AI durchgesetzt, weil es drei entscheidende Vorteile bietet:

• Aktualität: Dokumente können jederzeit aktualisiert werden — das Modell nutzt automatisch die neueste Version.
• Nachvollziehbarkeit: Jede Antwort kann mit Quellenverweisen belegt werden (Source Attribution).
• Kosteneffizienz: Kein Modell-Training nötig — nur die Dokumente werden verarbeitet.

Die RAG-Architektur auf Amazon Bedrock

Amazon Bedrock Knowledge Bases implementieren den gesamten RAG-Workflow als verwalteten Service. Die Architektur umfasst vier Stufen:

1. Dokumentenspeicher (S3): Unternehmensdokumente (PDFs, Word, HTML, Markdown, CSV) werden in einem S3-Bucket abgelegt.
2. Ingestion & Embedding: Bedrock Knowledge Bases chunken die Dokumente automatisch, generieren Vektor-Embeddings und speichern diese in einem Vektorspeicher.
3. Retrieval: Bei einer Benutzeranfrage wird die Frage ebenfalls vektorisiert und gegen den Vektorspeicher abgeglichen. Die relevantesten Chunks werden zurückgegeben.
4. Generation: Die abgerufenen Chunks werden zusammen mit der Benutzeranfrage an ein Foundation Model (z. B. Anthropic Claude) übergeben, das eine kontextbezogene Antwort generiert.

Der gesamte Workflow wird von Bedrock orchestriert — inklusive Session Context Management und Source Attribution. Kein eigener Code für die RAG-Pipeline nötig (AWS Prescriptive Guidance: RAG with Bedrock).

Vektorspeicher-Optionen im Vergleich

Bedrock Knowledge Bases unterstützen mehrere Vektorspeicher. Die Wahl hat direkte Auswirkungen auf Kosten, Performance und Betriebskomplexität:

Seit 2025 bietet AWS mit Amazon S3 Vectors eine kostenoptimierte Alternative, die bis zu 90 Prozent günstiger ist als OpenSearch Serverless — ideal für den Einstieg und mittlere Datenmengen (AWS: Bedrock Knowledge Bases). Für Enterprise-Deployments mit hohen Anforderungen an Latenz und Durchsatz bleibt OpenSearch die empfohlene Option (AWS Blog, 2025).

RAG vs. Fine-Tuning: Wann was einsetzen

Die Abgrenzung zwischen RAG und Fine-Tuning ist entscheidend für die richtige Architekturentscheidung:

In der Praxis bei Storm Reply Kundenprojekten löst RAG 80-90 Prozent der Enterprise-AI-Anforderungen. Fine-Tuning wird nur eingesetzt, wenn das Modell einen spezifischen Schreibstil oder ein proprietäres Format beherrschen muss.

Implementierung: Schritt für Schritt

Die Implementierung einer RAG-Lösung auf Amazon Bedrock folgt einem klaren Ablauf:

1. Datenquellen identifizieren: Welche Dokumente sollen durchsuchbar sein? Interne Wikis, Handbücher, Verträge, technische Dokumentation — alles, was als strukturierter oder semi-strukturierter Text vorliegt.
2. S3-Bucket einrichten: Dokumente in einen S3-Bucket laden. KMS-Verschlüsselung aktivieren. Ordnerstruktur als spätere Filtergrundlage nutzen.
3. Knowledge Base erstellen: In der Bedrock Console eine Knowledge Base anlegen, S3-Bucket als Datenquelle konfigurieren, Vektorspeicher wählen.
4. Chunking-Strategie wählen: Bedrock bietet automatisches Chunking (Standard), Fixed-Size Chunking und Semantic Chunking. Für technische Dokumentation empfiehlt sich Semantic Chunking.
5. Foundation Model konfigurieren: Anthropic Claude als Generierungsmodell auswählen. System-Prompt definieren, der Ton, Sprache und Antwortformat vorgibt.
6. Guardrails einrichten: Amazon Bedrock Guardrails für Content-Filterung, PII-Erkennung und Topic-Restriction konfigurieren.
7. Testen und Iterieren: Testfragen gegen die Knowledge Base stellen, Retrieval-Qualität bewerten, Chunking und Prompts optimieren.

Storm Reply RAG-Expertise

Storm Reply ist AWS Premier Consulting Partner mit AWS Generative AI Competency (Launch Partner 2024). Der Storm Innovator GenAI Framework umfasst vorkonfigurierte RAG-Architekturen für verschiedene Enterprise-Szenarien.

Typische RAG-Projekte bei Storm Reply:

• Internes Wissensmanagement: Mitarbeiter finden Antworten in tausenden internen Dokumenten in Sekunden statt Stunden.
• Technische Dokumentationssuche: Entwickler und Engineers erhalten kontextbezogene Antworten aus Architektur-Dokumentationen und Runbooks.
• Kunden-Self-Service: KI-gestützte Chatbots, die auf Produktdokumentation und FAQ-Datenbanken zugreifen.
• Compliance-Recherche: Juristen und Compliance-Teams durchsuchen regulatorische Dokumente mit natürlichsprachigen Fragen.

Praxisbeispiel: Audi — RAG-Chatbot für interne Dokumentation

Ein konkretes Beispiel für den erfolgreichen Einsatz von RAG ist der RAG-basierte KI-Chatbot bei Audi, den Storm Reply gemeinsam mit der Audi AG umgesetzt hat.

Ausgangslage: Audi-Mitarbeiter benötigten stundenlange Recherchen, um relevante Informationen in 80 GB technischer Dokumentation zu finden.

Lösung: Ein generativer KI-Chatbot mit Retrieval-Augmented Generation, der auf Amazon SageMaker und einem LLM basiert. Die Lösung wurde in nur vier Wochen entwickelt.

Ergebnis:

• Informationssuche von Stunden auf Sekunden reduziert
• Keine Halluzinationen durch RAG-basierte Faktensicherung
• Nur unternehmensspezifische Antworten — kein allgemeines Weltwissen
• 4 Wochen Entwicklungszeit vom Konzept bis zum produktiven Einsatz

DSGVO und EU AI Act: RAG im regulatorischen Kontext

RAG-Systeme auf Amazon Bedrock lassen sich DSGVO-konform betreiben. Die entscheidenden Architekturentscheidungen:

• Datenresidenz: S3-Bucket und Vektorspeicher in eu-central-1 (Frankfurt). Bedrock verarbeitet Daten in der gewählten Region.
• Kein Training auf Kundendaten: Amazon Bedrock verwendet Kundendaten nicht zum Training von Foundation Models — eine zentrale DSGVO-Anforderung.
• Verschlüsselung: KMS-Verschlüsselung für Daten at rest und in transit. VPC-Endpoints für private Kommunikation.
• Audit-Trail: CloudTrail-Logging aller API-Aufrufe. Bedrock unterstützt Model Invocation Logging für vollständige Nachvollziehbarkeit.

Im Kontext des EU AI Act ist relevant: RAG-Systeme für interne Dokumentationssuche fallen typischerweise nicht in die Hochrisiko-Kategorie. Für Systeme, die Entscheidungen mit rechtlicher Wirkung beeinflussen (z. B. HR, Kredit), gelten strengere Transparenz- und Dokumentationspflichten, die über Bedrock Guardrails und Logging adressiert werden können.

Vorteile und Herausforderungen

Vorteile von RAG auf Bedrock

• Vollständig verwaltet: Kein eigener Code für Ingestion, Chunking, Embedding oder Retrieval nötig.
• Source Attribution: Jede Antwort enthält Verweise auf die genutzten Quelldokumente.
• Modell-Flexibilität: Foundation Model jederzeit austauschbar (Claude, Titan, Llama) — ohne Änderungen an der Pipeline.
• Skalierbarkeit: Serverless-Architektur skaliert automatisch mit der Nutzung.
• DSGVO-Konformität: EU-Region, kein Training auf Kundendaten, vollständiges Audit-Logging.

Herausforderungen und Limitierungen

• Retrieval-Qualität: Die Qualität der Antworten hängt direkt von der Qualität des Retrievals ab. Schlecht strukturierte Dokumente liefern schlechte Ergebnisse.
• Chunking-Strategie: Die Wahl der Chunk-Größe und -Methode beeinflusst die Ergebnisqualität erheblich. Iteration ist nötig.
• Latenz: Der Retrieval-Schritt addiert 1-3 Sekunden zur Antwortzeit. Für Echtzeit-Anwendungen kann das relevant sein.
• Kosten bei Skalierung: OpenSearch Serverless hat eine Basiskostenkomponente (~100 $/Monat). Für große Deployments sind die Vektorspeicher-Kosten signifikant.
• Multimodale Daten: Bilder, Tabellen und Diagramme in PDFs werden nicht vollständig erfasst. Multimodal RAG (seit re:Invent 2025) adressiert dies teilweise.

Häufige Fragen zu RAG auf Bedrock

Welche Dokumentformate unterstützt Bedrock Knowledge Bases?

PDF, Word (.docx), HTML, Markdown, CSV und Plain Text. Für Bilder und Tabellen in PDFs ist die Extraktion eingeschränkt — multimodale Ingestion wurde auf re:Invent 2025 angekündigt.

Wie groß darf die Wissensbasis sein?

Es gibt keine harten Limits. Bedrock Knowledge Bases skalieren über den gewählten Vektorspeicher. Kunden betreiben Wissensbasen mit zehntausenden Dokumenten.

Kann ich den Zugriff auf bestimmte Dokumente einschränken?

Ja. Bedrock Knowledge Bases unterstützen Metadata-Filtering. Sie können Dokumente mit Tags versehen und den Retrieval auf bestimmte Dokumentgruppen einschränken — z. B. nach Abteilung, Vertraulichkeitsstufe oder Projekt.

Welches Foundation Model empfiehlt Storm Reply für RAG?

Anthropic Claude (Sonnet oder Opus) für die meisten Enterprise-Anwendungen. Claude bietet ein großes Kontextfenster, starke Instruktionsbefolgung und exzellente Deutsch-Performance. Für kostenoptimierte Szenarien: Amazon Titan oder Claude Haiku.

Ausblick: RAG wird multimodal und agentisch

RAG entwickelt sich in zwei Richtungen weiter: Multimodal RAG erfasst nicht nur Text, sondern auch Bilder, Tabellen und Diagramme aus Dokumenten. Auf re:Invent 2025 hat AWS multimodale Capabilities für Bedrock Knowledge Bases angekündigt.

Die zweite Entwicklung ist die Kombination von RAG mit Agentic AI: Bedrock Agents können Knowledge Bases als Tool nutzen und eigenständig entscheiden, wann sie welche Wissensbasis abfragen. Das Ergebnis sind autonome KI-Systeme, die nicht nur antworten, sondern Aufgaben mehrstufig lösen — informiert durch Enterprise-Wissen.