Preparare i contenuti web per le Knowledge Base di Amazon Bedrock con Crawl4AI
aws ·
Questo articolo illustra un metodo per preparare i contenuti web per le Knowledge Base di Amazon Bedrock utilizzando Crawl4AI, un crawler Python open-source. Sebbene il Web Crawler nativo di Amazon Bedrock sia adatto alla maggior parte dei siti pubblici, questo approccio personalizzato offre un maggiore controllo sull'estrazione dei contenuti e sull'aggiunta di metadati. La soluzione impiega un compito AWS Fargate programmato per eseguire il crawling di siti autorizzati, generando file Markdown e sidecar JSON con metadati che vengono caricati su Amazon S3. Questi documenti preparati vengono quindi ingeriti nella knowledge base, dove Amazon Bedrock gestisce l'analisi, la suddivisione in chunk, l'inserimento negli embedding e l'indicizzazione. Il flusso di lavoro supporta strategie di crawling delimitato e consente il filtraggio personalizzato dei metadati per migliorare la precisione del recupero. Gli autori sottolineano l'importanza di convalidare la qualità del recupero e di implementare guardrail per un'Intelligenza Artificiale Responsabile prima del deployment in produzione. Infine, la guida fornisce istruzioni dettagliate per il deployment dell'infrastruttura tramite AWS CDK e per la pulizia delle risorse al fine di evitare costi non necessari.
aws