Nessun agente AI supera il 12% nel nuovo benchmark di lavoro reale di SemiAnalysis
decoder ·
SemiAnalysis ha pubblicato il benchmark GDPx, che valuta gli agenti di intelligenza artificiale su 206 attività in ambienti professionali software realistici, anziché limitarsi a semplici quiz di conoscenza. I risultati indicano che nessun modello attuale performa bene, con il punteggio più alto pari al 12%, ottenuto da Claude Opus 5.5. Google's Gemini 4 Carbon si è classificato subito dopo con il 10,9%, offrendo costi significativamente inferiori, mentre GPT-6 Astra ha segnato il 9,6%. I critici sostengono che i filtri di sicurezza distorcano pesantemente questi classifiche, in particolare nei domini della cybersecurity e della biologia, dove alcuni modelli hanno ricevuto punteggi zero. Inoltre, sono state sollevate preoccupazioni riguardo alla segretezza delle attività di test e alle condizioni disuguali create dal software proprietario degli agenti fornito da ciascun provider. Nonostante queste critiche, SemiAnalysis intende aggiornare regolarmente il benchmark per monitorare i progressi nella simulazione del lavoro reale.
decoder