Gli agenti IA hanno un cattivo gusto nelle decisioni a lungo termine e un nuovo benchmark lo dimostra
decoder ·
I ricercatori di Microsoft e della City University of Hong Kong hanno presentato Taste-Bench, un nuovo benchmark progettato per valutare quanto bene gli agenti IA prendano decisioni a lungo termine durante compiti complessi e multi-step. A differenza dei benchmark standard che misurano solo il completamento finale del compito, questo strumento valuta il "gusto" dell'agente analizzando la sua capacità di scegliere il percorso più promettente nei bivi decisionali critici all'interno di una traiettoria. Lo studio ha testato 14 modelli leader, tra cui GPT-5.6 Sol e GPT-5.5, rivelando che anche i migliori esecutori hanno superato appena il 60 percento di accuratezza in queste scelte binarie. Le prestazioni sono diminuite significativamente quando le prove a favore di un percorso apparivano solo dopo estesi lavori successivi, indicando che i modelli attuali faticano a prevedere efficacemente i risultati futuri. L'aumento del tempo di ragionamento o del budget computazionale non ha migliorato i risultati, suggerendo che gli indizi necessari sono spesso assenti nel contesto immediato. Tuttavia, i ricercatori hanno dimostrato che questa capacità di giudizio può essere allenata distillando le intuizioni da un modello insegnante in un modello studente, il che ha migliorato i tassi di successo su compiti di codifica riservati. Questa scoperta evidenzia un divario significativo nelle capacità attuali dell'IA riguardo alla pianificazione a lungo raggio e offre una via per il miglioramento attraverso un addestramento mirato.
decoder