Préparer le contenu web pour les bases de connaissances Amazon Bedrock avec Crawl4AI
aws ·
Cet article présente une méthode pour préparer le contenu web destiné aux bases de connaissances Amazon Bedrock à l'aide de Crawl4AI, un crawler Python open source. Bien que le Web Crawler natif d'Amazon Bedrock convienne à la plupart des sites publics, cette approche personnalisée offre un meilleur contrôle sur l'extraction du contenu et l'ajout de métadonnées. La solution utilise une tâche AWS Fargate planifiée pour explorer les sites autorisés, générant des fichiers Markdown et des fichiers sidecar JSON contenant les métadonnées, qui sont ensuite téléchargés sur Amazon S3. Ces documents préparés sont ensuite ingérés dans la base de connaissances, où Amazon Bedrock assure le traitement, le découpage en segments, l'intégration vectorielle et l'indexation. Le flux de travail prend en charge des stratégies d'exploration bornées et permet un filtrage personnalisé des métadonnées afin d'améliorer la précision de la récupération. Les auteurs soulignent l'importance de valider la qualité de la récupération et de mettre en place des garde-fous pour une IA responsable avant le déploiement en production. Enfin, le guide fournit des instructions détaillées pour déployer l'infrastructure via AWS CDK et nettoyer les ressources afin d'éviter des frais inutiles.
aws