Preparar conteúdo da web para as Bases de Conhecimento do Amazon Bedrock com Crawl4AI
aws ·
Este artigo descreve um método para preparar conteúdo da web para as Bases de Conhecimento do Amazon Bedrock utilizando o Crawl4AI, um rastreador Python de código aberto. Embora o Rastreador Web nativo do Amazon Bedrock seja adequado para a maioria dos sites públicos, essa abordagem personalizada oferece maior controle sobre a extração de conteúdo e a anexação de metadados. A solução emprega uma tarefa agendada no AWS Fargate para rastrear sites autorizados, gerando arquivos Markdown e sidecars de metadados JSON que são carregados no Amazon S3. Esses documentos preparados são então ingeridos na base de conhecimento, onde o Amazon Bedrock cuida da análise, fragmentação, incorporação e indexação. O fluxo de trabalho suporta estratégias de rastreamento delimitado e permite filtragem personalizada de metadados para melhorar a precisão da recuperação. Os autores enfatizam a importância de validar a qualidade da recuperação e implementar salvaguardas de IA Responsável antes da implantação em produção. Por fim, o guia fornece instruções detalhadas para implantar a infraestrutura por meio do AWS CDK e limpar os recursos para evitar cobranças desnecessárias.
aws