Правильный Источник, А Не Только Факт: Проверка С Учетом Источника Для Агентов MCP
huggingface ·
В статье представлен ProvenanceGuard — слой верификации, учитывающий источники данных, разработанный для агентов на базе больших языковых моделей (LLM), использующих протокол Model Context Protocol (MCP). Решение направлено на борьбу с проблемой смешения источников: ситуациями, когда агент верно определяет факт, но ошибочно приписывает его неверному источнику данных. В отличие от традиционных проверок достоверности, которые агрегируют доказательства, ProvenanceGuard сохраняет отдельные идентичности источников на протяжении всего процесса верификации. Система разбивает ответы на утверждения, выявляет соответствующий источник и проверяет, совпадает ли атрибуция с фактическими подтверждающими данными. Тестирование на трассировках медицинских агентов показало высокую точность ProvenanceGuard в блокировке неподтвержденных утверждений при одновременном предоставлении вердиктов по каждому утверждению относительно источника. Фреймворк также включает механизм исправления, способный корректировать заблокированные ответы или предоставлять безопасные резервные варианты при необходимости. Такой подход обеспечивает сохранение происхождения данных (провенанса), что имеет критическое значение для чувствительных областей, таких как здравоохранение и финансы.
huggingface