Obtenir la Bonne Source, Pas Seulement le Fait : Vérification Aware des Sources pour les Agents MCP
huggingface ·
L'article présente ProvenanceGuard, une couche de vérification consciente de la provenance conçue pour les agents LLM utilisant le protocole Model Context Protocol (MCP). Il répond au problème de la confusion inter-sources, où un agent identifie correctement un fait mais l'attribue à la mauvaise source de données. Contrairement aux vérificateurs de fidélité traditionnels qui regroupent les preuves, ProvenanceGuard maintient des identités de sources distinctes tout au long du processus de vérification. Le système décompose les réponses en affirmations, identifie la source pertinente et vérifie si l'attribution correspond aux preuves effectives. Lors de tests sur des traces d'agents médicaux, ProvenanceGuard a démontré une grande précision dans le blocage des affirmations non étayées, tout en fournissant des verdicts par affirmation concernant leur source. Le cadre inclut également un mécanisme de réparation capable de réviser les réponses bloquées ou de proposer des solutions de repli sûres lorsque cela est nécessaire. Cette approche garantit que la provenance est préservée, ce qui est crucial pour des domaines sensibles comme la santé et la finance.
huggingface