Crawl4AI के साथ Amazon Bedrock ज्ञान आधारों के लिए वेब सामग्री तैयार करें
aws ·
यह लेख Crawl4AI, एक ओपन-सोर्स पाइथन क्रॉलर का उपयोग करके Amazon Bedrock Knowledge Bases के लिए वेब सामग्री तैयार करने की विधि को रेखांकित करता है। हालांकि नेटिव Amazon Bedrock Web Crawler अधिकांश सार्वजनिक वेबसाइटों के लिए उपयुक्त है, यह कस्टम दृष्टिकोण सामग्री निष्कर्ष और मेटाडेटा संलग्न करने पर अधिक नियंत्रण प्रदान करता है। समाधान में अनुमत साइटों को क्रॉल करने के लिए एक निर्धारित AWS Fargate टास्क शामिल है, जो Markdown फ़ाइलों और JSON मेटाडेटा साइडकार्स उत्पन्न करता है जिन्हें Amazon S3 पर अपलोड किया जाता है। ये तैयार दस्तावेज़ ज्ञान आधार में इनगेस्ट किए जाते हैं, जहाँ Amazon Bedrock पार्सिंग, चंकिंग, एम्बेडिंग और इंडेक्सिंग संभालता है। इस वर्कफ़्लो में बाउंडेड क्रॉलिंग रणनीतियों का समर्थन होता है और पुनर्प्राप्ति सटीकता को बेहतर बनाने के लिए कस्टम मेटाडेटा फ़िल्टरिंग की अनुमति देता है। लेखक उत्पादन तैनाती से पहले पुनर्प्राप्ति गुणवत्ता की वैधता और जिम्मेदार AI गार्डरेल्स लागू करने के महत्व पर जोर देते हैं। अंत में, गाइड AWS CDK के माध्यम से इंफ्रास्ट्रक्चर तैनात करने और अनावश्यक शुल्कों से बचने के लिए संसाधनों को साफ़ करने के लिए विस्तृत निर्देश प्रदान करती है।
aws