फैंसी हार्नेस कोडिंग एजेंट्स को महंगा बनाते हैं लेकिन बेहतर नहीं
decoder ·
शैंडोंग विश्वविद्यालय के शोधकर्ताओं द्वारा हाल ही में की गई एक अध्ययन ने जटिल कोडिंग एजेंट हार्नेस की प्रभावकारिता को चुनौती दी है, जिसमें पाया गया कि ये लागत बढ़ाते हैं लेकिन प्रदर्शन में सुधार नहीं करते। "What does a harness buy? Mostly tokens" शीर्षक वाली इस पत्रिका में बताया गया है कि Claude Code और mini-SWE-agent जैसे प्रमुख फ्रेमवर्क्स के बीच स्विच करने से जो परिणाम मिलते हैं, वे केवल एक ही सेटअप को फिर से चलाने के सांख्यिकीय रूप से तुलनीय हैं। हालाँकि कुछ विक्रेता महत्वपूर्ण स्कोर लाभ का दावा करते हैं,但这些 अक्सर बेंचमार्क टेस्ट की प्राकृतिक शोर सीमा के भीतर आते हैं। Fancy harnesses का मुख्य प्रभाव टोकन खपत में उल्लेखनीय वृद्धि है, जो मुख्य रूप से लंबे सिस्टम प्रॉम्प्ट्स और टूल विवरणों द्वारा संचालित होता है, न कि बेहतर कार्य समाधान द्वारा। केवल एक हार्नेस, OpenCode, ने मापनीय प्रदर्शन घाटा दिखाया, जिसका कुछ कारण आउटपुट सीमाओं और कॉन्फ़िगरेशन समस्याओं को दिया गया है। अध्ययन यह उजागर करता है कि मॉडल का चयन उपयोग किए गए विशिष्ट हार्नेस की तुलना में परिणामों पर कहीं अधिक प्रभाव डालता है। इसके परिणामस्वरूप, लेखकों का तर्क है कि वर्तमान लीडरबोर्ड नियंत्रित चरों की कमी और बार-बार परीक्षणों के अभाव के कारण भ्रामक हो सकते हैं। वे असली सुधारों यादृच्छिक भिन्नता से अलग करने के लिए तुलनाओं के साथ पुन: रन प्रकाशित करने की सलाह देते हैं।
decoder