Webinhalte für Amazon Bedrock Knowledge Bases mit Crawl4AI vorbereiten
aws ·
Dieser Artikel beschreibt eine Methode zur Aufbereitung von Webinhalten für Amazon Bedrock Knowledge Bases unter Verwendung von Crawl4AI, einem Open-Source-Python-Crawler. Während der native Amazon Bedrock Web Crawler für die meisten öffentlichen Websites geeignet ist, bietet dieser benutzerdefinierte Ansatz mehr Kontrolle über die Inhaltsextraktion und die Anhängung von Metadaten. Die Lösung nutzt einen geplanten AWS Fargate-Auftrag, um autorisierte Websites zu crawlen und dabei Markdown-Dateien sowie JSON-Metadaten-Sidecars zu generieren, die in Amazon S3 hochgeladen werden. Diese vorbereiteten Dokumente werden anschließend in die Wissensdatenbank eingespeist, wo Amazon Bedrock das Parsing, Chunking, Embedding und Indexing übernimmt. Der Workflow unterstützt begrenzte Crawling-Strategien und ermöglicht benutzerdefiniertes Metadaten-Filtering zur Verbesserung der Retrieval-Genauigkeit. Die Autoren betonen die Bedeutung der Validierung der Retrieval-Qualität und der Implementierung von Responsible AI-Guardrails vor dem Einsatz in der Produktion. Abschließend liefert der Leitfaden detaillierte Anweisungen zum Bereitstellen der Infrastruktur über AWS CDK und zum Bereinigen von Ressourcen, um unnötige Kosten zu vermeiden.
aws