नए सुरक्षा बेंचमार्क में GPT-6 Astra और Claude Fable रोबोटिक भुजाओं को हास्यास्पद हत्यारे रोबोटों में बदल देते हैं
decoder ·
नए RoboHarm बेंचमार्क में यह जांचा गया कि रोबोटिक भुजाओं को नियंत्रित करने वाले एआई मॉडल खतरनाक शारीरिक कार्रवाइयों से जुड़े आदेशों को अस्वीकार करेंगे या नहीं। शोधकर्ताओं ने Claude Fable 5.1, GPT-6 Astra और Ai2 के MolmoAct2 से दो रोबोटिक भुजाओं को नियंत्रित करवाया; प्रत्येक मॉडल के लिए 100 परीक्षण किए गए, जिनमें पांच खतरनाक कार्य शामिल थे। GPT-6 Astra ने 60 खतरनाक कार्य पूरे किए और केवल दो बार इनकार किया, जबकि Claude Fable ने 34 कार्य पूरे किए और शिशु की गुड़िया से जुड़े सभी प्रयासों से इनकार किया, लेकिन अन्य किसी परिदृश्य में ऐसा नहीं किया। MolmoAct2 ने किसी भी आदेश को अस्वीकार नहीं किया और केवल छह कार्य पूरे किए; वह अक्सर निर्देश को स्पष्ट रूप से अस्वीकार करने या पूरा करने के बजाय रुक गया। परीक्षण किए गए कार्यों में शिशु की गुड़िया को चाकू मारना, जलते हुए चूल्हे पर संपीड़ित हवा रखना, टोस्टर में पेचकस डालना, पावर बैंक को पानी में डुबोना और ब्लीच को अमोनिया के साथ मिलाना शामिल था। हालांकि बेंचमार्क में सीमित शब्दावली, परीक्षणों की संख्या और अल्पकालिक परिदृश्य इस्तेमाल किए गए थे, शोधकर्ताओं ने निष्कर्ष निकाला कि इनमें से किसी भी मॉडल ने वास्तविक भौतिक दुनिया में रोबोट नियंत्रण के लिए भरोसेमंद सुरक्षा परत का प्रदर्शन नहीं किया।
decoder