Strands Evals और Amazon Bedrock AgentCore के साथ कौशल-संपन्न एजेंट्स का मूल्यांकन करें
aws ·
यह लेख Strands Evals और Amazon Bedrock AgentCore का उपयोग करके कौशल-संपन्न AI एजेंट्स के लिए नए मूल्यांकन क्षमताओं का परिचय देता है। यह समझाता है कि हालांकि कौशल विशिष्ट कार्यों के लिए मॉड्यूलर और पुन: प्रयोग योग्य निर्देश प्रदान करते हैं, लेकिन वे गलत कौशल चयन या अधूरे निर्देशों का पालन जैसी अनोखी विफलता मोड भी पेश करते हैं। इस समस्या को हल करने के लिए, लेखक तीन मुख्य मूल्यांककों (evaluators) का प्रस्ताव रखते हैं: Skill Selection Accuracy, जो सत्यापित करता है कि चुना गया कौशल उचित था या नहीं; Skill Instruction Following, जो रेटिंग देता है कि एजेंट ने कौशल के चरणों का कितनी पूरी तरह से पालन किया; और Skill Invoked, जो सफल कौशल लोडिंग के लिए एक निश्चित जांच (deterministic check) है। गाइड दिखाती है कि विकास के दौरान रिकॉर्ड किए गए ट्राजेक्टरीज़ (trajectories) की परीक्षण के लिए Strands Evals का以及如何 उपयोग करें और OpenTelemetry ट्रaces के माध्यम से उत्पादन टेलीमेट्री का विश्लेषण करने के लिए AgentCore Evaluations का उपयोग कैसे करें। सर्वोत्तम अभ्यास में मार्ग निर्धारण त्रुटियों (routing errors) को निष्पादन विफलताओं से अलग करने और विश्वसनीयता सुनिश्चित करने के लिए इन जांचों को डिप्लॉयमेंट पाइलाइन में शामिल करने पर जोर दिया गया है। अंत में, यह पोस्ट संक्षिप्त आउटपुट गुणवत्ता के बजाय विस्तृत, प्रति-कौशल सबूत के माध्यम से एजेंट व्यवहार का निदान और ठीक करने के लिए एक ढांचा प्रदान करती है।
aws