Amazon Bedrock AgentCore मूल्यांकन के साथ निर्णय मॉडल का उपयोग करें
aws ·
यह लेख बताता है कि कस्टम कोड-आधारित मूल्यांककों का उपयोग करके निर्णय मॉडलों (decision models) को Amazon Bedrock AgentCore Evaluations में कैसे एकीकृत किया जाए। निर्णय मॉडल स्थिर-विकल्प वाले प्रश्नों के लिए संतुलित प्रायिकताएं प्रदान करते हैं, जिससे वे सीमित मूल्यांकन कार्यों के लिए मुक्त-प्रारूप LLM आउटपुट के लिए एक विश्वसनीय विकल्प बनते हैं। इस पोस्ट में दो विशिष्ट बैकएंड, Jev और Strands Decider 2B, को Lambda फ़ंक्शनों के माध्यम से एजेंट प्रतिक्रियाओं का मूल्यांकन करने के लिए जोड़ने की प्रक्रिया दिखाई गई है। ये मॉडल हाँ/नहीं, चयन और स्कोर जैसे प्रश्न प्रकारों का समर्थन करते हैं, जिससे परिणामों के लिए सटीक थ्रेशोल्डिंग और एग्रीगेशन संभव होता है। लेखक निर्णय मॉडलों का उपयोग ऐसे स्क्रीनिंग परत के रूप में करने की सलाह देते हैं जो उन टर्न्स को चिह्नित करता है जिनकी गहन जांच इनबिल्ट LLM-as-a-judge मूल्यांककों द्वारा आवश्यक होती है। तैनाती से पहले यह सुनिश्चित करने के लिए एक मान्यकरण प्रक्रिया दी गई है कि ये नए माप मानव संदर्भ लेबल के साथ संगत हैं। इस दृष्टिकोण से डेवलपर व्यापक मूल्यांकन क्षमताओं को बनाए रखते हुए विशिष्ट नीति या तथ्यात्मक अनुपालन के लिए कुशल और निश्चित जाँच जोड़ सकते हैं।
aws