Die Quelle Richtig Stellen, Nicht Nur Die Tatsache: Quellenbewusste Verifikation Für MCP-Agenten
huggingface ·
Der Artikel stellt ProvenanceGuard vor, eine quellenbewusste Verifikationsschicht, die für LLM-Agenten entwickelt wurde, welche das Model Context Protocol (MCP) nutzen. Das System adressiert das Problem der quellenübergreifenden Vermischung, bei dem ein Agent eine Tatsache zwar korrekt identifiziert, sie jedoch einer falschen Datenquelle zuordnet. Im Gegensatz zu traditionellen Treueprüfern, die Beweise zusammenfassen, behält ProvenanceGuard während des gesamten Verifikationsprozesses eindeutige Quellenidentitäten bei. Das System zerlegt Antworten in einzelne Behauptungen, identifiziert die relevante Quelle und prüft, ob die Zuordnung mit den tatsächlichen stützenden Beweisen übereinstimmt. Tests an medizinischen Agenten-Protokollen zeigten, dass ProvenageGuard hohe Genauigkeit beim Blockieren nicht untermauerter Behauptungen erreichte und dabei urteilsfähige Quellenbewertungen pro Behauptung lieferte. Der Rahmen umfasst zudem einen Reparaturmechanismus, der blockierte Antworten überarbeiten oder bei Bedarf sichere Fallbacks bereitstellen kann. Dieser Ansatz gewährleistet die Wahrung der Herkunftsinformationen, was für sensible Bereiche wie Gesundheitswesen und Finanzen von entscheidender Bedeutung ist.
huggingface