Il tuo agente ha superato il compito. Lo farà di nuovo?
huggingface ·
I ricercatori IBM evidenziano un problema critico di affidabilità negli agenti AI, in cui un'accuratezza media elevata maschera una significativa inconsistenza tra esecuzioni ripetute. Introducono il Consistency Analyzer, uno strumento diagnostico che identifica i punti decisionali instabili campionando nuovamente le traiettorie dell'agente senza bisogno di ground truth o replay completi. Questa analisi alimenta ALTK-Evolve per generare linee guida di coerenza che stabilizzano queste distribuzioni di probabilità 'piatte'. Nelle valutazioni su AppWorld utilizzando GPT-4.1, questo approccio ha dimezzato il divario di coerenza da 24,4 punti percentuali a 12,0 punti. Il metodo ha migliorato significativamente i tassi Pass^5 mantenendo o aumentando leggermente l'accuratezza media. Queste linee guida si sono rivelate generalizzabili, trasferendosi efficacemente ad attività simili e modelli più deboli come gpt-oss-120b. Gli autori invitano gli sviluppatori a riportare Pass^k insieme a Mean@k per valutare meglio l'affidabilità degli agenti per applicazioni critiche.
huggingface