अमेज़न बेड्रॉक पर बेहतर मॉडल को अनलॉक करने के लिए मूल्यांकन पक्षपात को ठीक करें
aws ·
डिजिटल रियल एस्टेट ऐप्लिकेशन 'प्रॉपर्टी फाइंडर' को पता चला कि उसका मॉडल मूल्यांकन प्रक्रिया गंभीर रूप से पक्षपाती थी, क्योंकि इसके लेबल्स का 96.8% हिस्सा मानवीय विशेषज्ञों द्वारा सत्यापित किए जाने के बजाय एक मौजूदा मॉडल की भविष्यवाणियों से विरासत में मिला था। यह चक्रीय मूल्यांकन विधि किसी भी वैकल्पिक मॉडल को कम प्रदर्शन करते हुए दिखाती थी, जिससे अमेज़न बेड्रॉक पर माइग्रेशन के दौरान वस्तुनिष्ठ तुलना बाधित हो रही थी। इस समस्या को हल करने के लिए, टीम ने पूर्व मॉडल आउटपुट से स्वतंत्र रूप से डोमेन विशेषज्ञों द्वारा 356 छवियों का मैन्युअल अनुभाग करके निर्भेज 'ग्राउंड ट्रुथ' तैयार किया। उन्होंने त्रुटि विश्लेषण के आधार पर निर्देशों को परिष्कृत करने और ओवरलैपिंग दृश्य गुणों को संभालने के लिए मल्टी-लेबल वर्गीकरण में बदलने के लिए एक इवोल्यूशनरी प्रॉम्प्ट ऑप्टिमाइजेशन लूप लागू किया। अमेज़न बेड्रॉक पर ऑप्टिमाइज्ड प्रॉम्प्स के साथ Llama 4 Maverick 17B Instruct का उपयोग करने से, कंपनी को अपने पिछले सेटअप की तुलना में माइक्रो F1 स्कोर में 0.55 से बढ़कर 0.81 की वृद्धि मिली। इस परिवर्तन के परिणामस्वरूप प्रसंस्करण लागत में 86% की कमी आई और सभी ग्यारह गुणवत्ता गुणों में उच्च सटीकता बनाए रखते हुए इनफरेंस लेटेन्सी में 40–60% की कमी हुई। इस केस स्टडी से मूल्यांकन डेटासेट में पक्षपात के लिए जांच करना और मान्य मॉडल तुलना सुनिश्चित करने के लिए विशेषज्ञ-अनुमित ग्राउंड ट्रुथ का उपयोग करने की महत्वपूर्ण आवश्यकता उजागर होती है।
aws