Seu agente passou na tarefa. Ele fará isso novamente?
huggingface ·
Pesquisadores da IBM destacam uma questão crítica de confiabilidade em agentes de IA, onde a alta precisão média mascara inconsistências significativas entre execuções repetidas. Eles apresentam o Consistency Analyzer, uma ferramenta de diagnóstico que identifica pontos de decisão instáveis ao reamostrar trajetórias do agente sem necessidade de verdade fundamental ou replays completos. Essa análise alimenta o ALTK-Evolve para gerar diretrizes de consistência que estabilizam essas distribuições de probabilidade 'planas'. Em avaliações no AppWorld usando GPT-4.1, essa abordagem reduziu pela metade a lacuna de consistência, de 24,4 pontos percentuais para 12,0 pontos. O método melhorou significativamente as taxas Pass^5, mantendo ou aumentando ligeiramente a precisão média. Essas diretrizes mostraram-se generalizáveis, transferindo-se efetivamente para tarefas semelhantes e modelos mais fracos, como gpt-oss-120b. Os autores exortam os desenvolvedores a relatar Pass^k junto com Mean@k para avaliar melhor a confiabilidade dos agentes em aplicações críticas.
huggingface