L'agente ha detto che era finito. Il database non era d'accordo.
huggingface ·
Microsoft e Hugging Face hanno rilasciato ThinkingBox, un nuovo benchmark progettato per valutare gli agenti di intelligenza artificiale in base al loro impatto effettivo sugli stati dei database backend, piuttosto che limitarsi al testo generato o alle chiamate agli strumenti. Lo studio ha analizzato 507 flussi di lavoro aziendali con stato persistente su 18 modelli LLM, eseguendo ogni compito 20 volte per misurare la coerenza insieme alla capacità. I risultati hanno rivelato che, sebbene alcuni modelli come Kimi-K3 potessero risolvere molti compiti almeno una volta, spesso fallivano nel farlo in modo affidabile nei tentativi successivi. Al contrario, modelli come Claude Opus 5.5 hanno dimostrato una maggiore affidabilità superando tutte le 20 prove per una parte significativa dei compiti. La ricerca evidenzia un divario critico in cui gli agenti sembrano avere successo grazie a un utilizzo valido degli strumenti, ma lasciano stati terminali errati, come la chiusura prematura dei ticket. Per affrontare questo problema, gli autori hanno introdotto metriche per il costo per compito affidabile, mostrando che ottenere una precisione costante comporta un prezzo finanziario più elevato rispetto al semplice ottenimento di una singola risposta corretta. Il benchmark è ora disponibile tramite OpenEnv, consentendo agli sviluppatori di testare l'affidabilità degli agenti contro sessioni isolate con verifiche eseguibili sugli effetti collaterali.
huggingface