Obtener la Fuente Correcta, No Solo el Hecho: Verificación Consciente de la Fuente para Agentes MCP
huggingface ·
El artículo presenta ProvenanceGuard, una capa de verificación consciente de la procedencia diseñada para agentes de LLM que utilizan el Protocolo de Contexto del Modelo (MCP). Aborda el problema de la confusión entre fuentes, en el que un agente identifica correctamente un hecho pero lo atribuye a la fuente de datos incorrecta. A diferencia de los verificadores tradicionales de fidelidad que agrupan la evidencia, ProvenanceGuard mantiene identidades de fuente distintas durante todo el proceso de verificación. El sistema descompone las respuestas en afirmaciones, identifica la fuente relevante y verifica si la atribución coincide con la evidencia real que las respalda. En pruebas con trazas de agentes médicos, ProvenanceGuard demostró alta precisión al bloquear afirmaciones sin sustento, mientras proporcionaba veredictos por fuente para cada afirmación. El marco también incluye un mecanismo de reparación que puede revisar las respuestas bloqueadas o proporcionar alternativas seguras cuando sea necesario. Este enfoque garantiza que se preserve la procedencia, lo cual es crítico en dominios sensibles como la atención médica y las finanzas.
huggingface