सही स्रोत प्राप्त करना, केवल तथ्य नहीं: MCP एजेंट्स के लिए सोर्स-अवेयर वेरिफिकेशन
huggingface ·
लेख में ProvenanceGuard का परिचय दिया गया है, जो मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) का उपयोग करने वाले LLM एजेंट्स के लिए डिज़ाइन किया गया एक स्रोत-सचेत सत्यापन परत है। यह उस समस्या को संबोधित करता है जिसे 'क्रॉस-सोर्स कंफ्लेशन' कहा जाता है, जहाँ एक एजेंट तथ्य की सही पहचान तो कर लेता है लेकिन उसे गलत डेटा स्रोत से जोड़ देता है। पारंपरिक विश्वसनीयता जांचकर्ताओं के विपरीत, जो सबूतों को एक साथ लाते हैं, ProvenanceGuard सत्यापन प्रक्रिया के दौरान अलग-अलग स्रोतों की पहचान को बनाए रखता है। सिस्टम उत्तरों को दावों में विभाजित करता है, प्रासंगिक स्रोत की पहचान करता है और जाँचता है कि क्या निर्दिष्ट स्रोत वास्तविक सहायक सबूत से मेल खाता है। चिकित्सा एजेंट ट्रेस पर किए गए परीक्षणों में, ProvenageGuard ने बिना समर्थन वाले दावों को रोकने में उच्च सटीकता दिखाई और प्रति दावा स्रोत निर्णय प्रदान किए। फ्रेमवर्क में एक मरम्मत तंत्र भी शामिल है जो आवश्यक होने पर रोक दिए गए उत्तरों को संशोधित कर सकता है या सुरक्षित वैकल्पिक विकल्प प्रदान कर सकता है। यह दृष्टिकोण सुनिश्चित करता है कि प्रमाण (provenance) बनाए रखा जाए, जो स्वास्थ्य सेवा और वित्त जैसे संवेदनशील क्षेत्रों के लिए महत्वपूर्ण है।
huggingface