获取正确的来源而不仅仅是事实:针对MCP代理的源感知验证
huggingface ·
本文介绍了ProvenanceGuard,这是一种专为使用模型上下文协议(MCP)的大语言模型智能体设计的、具备来源感知能力的验证层。它旨在解决跨来源混淆问题,即智能体虽然正确识别了事实,却将其归因于错误的数据源。与传统将证据合并的忠实度检查器不同,ProvenanceGuard在整个验证过程中保持各个来源的身份独立。该系统将答案分解为若干主张,识别相关来源,并核查归因是否与实际的支撑证据相符。在医疗智能体轨迹测试中,ProvenanceGuard在阻止缺乏依据的主张方面表现出高准确率,并能提供针对每个主张的来源判定结果。该框架还包含一种修复机制,可在必要时修订被拦截的答案或提供安全的备用方案。这种方法确保了溯源信息的保留,这对于医疗和金融等敏感领域至关重要。
huggingface