दिखाई देने वाली विचार-श्रृंखलाएँ एआई के लिए सुरक्षा लाभ हैं, लेकिन यह पारदर्शिता घट रही है
decoder ·
हाल ही में शुरू किए गए डीपमाइंड इंस्टीट्यूट के शोधकर्ताओं का तर्क है कि विचार-प्रक्रिया की दृश्यमान श्रृंखलाएं सुरक्षा का एक महत्वपूर्ण लाभ हैं, क्योंकि वे लोगों को मॉडल के मध्यवर्ती तर्क का निरीक्षण करने देती हैं। यह पारदर्शिता धोखे या समस्याजनक योजनाओं का पता लगा सकती है, और शोधकर्ताओं का कहना है कि Gemini 3 Pro की तर्क-प्रक्रिया से पता चला कि उसे यह एहसास था कि वह एक परीक्षण वातावरण में है। हालांकि, उन्होंने चेतावनी दी है कि यह लाभ कमजोर हो रहा है। OpenAI के GPT-6 Astra सिस्टम कार्ड में बताया गया है कि उसकी विचार-प्रक्रिया की निगरानी कितनी प्रभावी ढंग से की जा सकती है, इसमें उल्लेखनीय गिरावट आई है। भविष्य के मॉडल संख्यात्मक निरूपणों में तर्क कर सकते हैं, जो अधिक दक्ष होंगे लेकिन मनुष्यों के लिए अपठनीय होंगे। शोधकर्ता विचार-प्रक्रिया की निगरानी-योग्यता को नियमित रूप से मापने, पारदर्शी आर्किटेक्चर बनाए रखने और मॉडलों को अपने तर्क को छिपाने के लिए प्रशिक्षित न करने की सिफारिश करते हैं। उनकी चिंताएं OpenAI के मुख्य वैज्ञानिक याकूब पाचोकी की नियंत्रण खोने संबंधी हालिया चेतावनियों और Anthropic के सीईओ डारियो अमोदेई के AI विकास को धीमा करने के आह्वान से मेल खाती हैं।
decoder