नया ओपन-सोर्स बेंचमार्क बताता है कि क्लाउड ऑपरेशंस में AI के लिए तर्क सबसे बड़ी बाधा है
decoder ·
क्लाउडऑप्सबेंच (CloudOpsBench) नामक एक नए ओपन-सोर्स बेंचमार्क ने यह पहचाना है कि क्लाउड ऑपरेशन कार्यों में एआई एजेंटों के लिए तर्कशक्ति (reasoning) मुख्य बाधा है। मिशिगन विश्वविद्यालय की टीम द्वारा विकसित इसका संस्करण 1.0, AWS पर सेवाओं को ठीक करने और एक्सेस अधिकारों का प्रबंधन करना जैसे सामान्य डेवऑप्स गतिविधियों में मॉडलों की क्षमता का मूल्यांकन करता है। इस बेंचमार्क में वास्तविक और अनुकूलित (emulated) क्लाउड दोनों वातावरण में किए गए 45 वास्तविक कार्य शामिल हैं। अपनी क्षमताओं के बावजूद, क्लॉड फेबल 5.1 और जीपीटी-6 अस्ट्रा जैसे शीर्ष मॉडल क्रमशः केवल 60% और 53% कार्यों को ही पूरा कर पाए। शोधकर्ताओं ने पाया कि लगभग 80% विफलताएं खराब तर्कशक्ति के कारण होती हैं, जहां एजेंट कार्य की सीमा का गलत आकलन करते हैं या समय से पहले रुक जाते हैं। त्रुटियों का केवल लगभग 20% हिस्सा गलत कार्यों से जुड़ा है, जिनमें से कुछ इंफ्रास्ट्रक्चर के लिए अपरिवर्तनीय परिणाम ला सकते हैं। यह प्रोजेक्ट अपाचे 2.0 लाइसेंस के तहत गिटहब पर उपलब्ध है, और अन्य क्लाउड प्रदाताओं के लिए विस्तार की योजना बनाई गई है।
decoder