使用 Crawl4AI 为 Amazon Bedrock 知识库准备网页内容 | AI Archive

使用 Crawl4AI 为 Amazon Bedrock 知识库准备网页内容

aws · 2026-11-02T17:11:21+00:00

本文介绍了一种使用开源 Python 爬虫 Crawl4AI 为 Amazon Bedrock 知识库准备网页内容的方法。虽然原生的 Amazon Bedrock Web Crawler 适用于大多数公共网站，但这种自定义方法在内容提取和元数据附加方面提供了更高的控制权。该解决方案利用计划任务的 AWS Fargate 作业爬取授权网站，生成 Markdown 文件和 JSON 元数据旁侧文件（sidecars），并将其上传至 Amazon S3。这些准备好的文档随后被摄入知识库，由 Amazon Bedrock 处理解析、分块、嵌入和索引。工作流程支持有界爬取策略，并允许通过自定义元数据过滤来提高检索精度。作者强调，在生产部署之前，验证检索质量和实施负责任的 AI 护栏至关重要。最后，本指南提供了通过 AWS CDK 部署基础设施以及清理资源以避免产生不必要费用的详细说明。