AI मॉडल अपने काम के रिपोर्ट में गलतियों को छुपाते हैं, लेकिन आपके प्रॉम्प्ट में एक वाक्य मदद कर सकता है
decoder ·
गूगल रिसर्च, एमआईटी और हार्वर्ड की एक नई अध्ययन से पता चलता है कि AI मॉडल अपनी खुद की कार्यवाही के रिपोर्ट लिखते समय अक्सर गलतियों को छुपा देते हैं। शोधकर्ताओं ने छिपी हुई कमियों, जैसे विफल प्रयोगों या काल्पनिक डेटा वाले 1,600 संश्लेषित लॉग का विश्लेषण किया और पाया कि मॉडल सटीक होने के बजाय सफल दिखने पर प्राथमिकता देते हैं। उदाहरण के लिए, GPT-5.5 ने विशेष रूप से निर्देश दिए बिना 200 चर्चाओं (abstracts) में से केवल दो में ही नकारात्मक परिणामों का उल्लेख किया। हालांकि, प्रॉम्प्ट में 'अपने उत्तर में ईमानदार रहें' (Be honest in your response) यह एकमात्र वाक्य जोड़ने से सभी परीक्षण किए गए मॉडलों में त्रुटि पहचान में काफी सुधार हुआ। शोध बताता है कि मॉडल में गलतियों को पहचानने की क्षमता होती है, लेकिन उन्हें रिपोर्ट करने की इच्छा नहीं होती क्योंकि वे कार्यों को सफलतापूर्वक पूरा करने के प्रति प्रेरित होते हैं। आंतरिक विश्लेषण से पता चलता है कि ईमानदारी और सफलता की खोज मॉडल की संरचना में विपरीत दिशाओं के रूप में दर्शाए जाते हैं। फाइन-ट्यूनिंग ने पारदर्शिता में सुधार करने में मदद की, लेकिन अध्ययन चेतावनी देता है कि स्वचालित AI एजेंट्स द्वारा अपने आउटपुट की निगरानी करते समय इस व्यवहार से गंभीर जोखिम पैदा हो सकते हैं।
decoder