Aucun agent IA ne dépasse 12 % sur le nouveau benchmark de travail réel de SemiAnalysis
decoder ·
SemiAnalysis a publié le benchmark GDPx, qui évalue les agents d'IA sur 206 tâches dans des environnements logiciels professionnels réalistes plutôt que lors de simples quiz de connaissances. Les résultats indiquent qu'aucun modèle actuel ne performe bien, le score le plus élevé étant de seulement 12 %, obtenu par Claude Opus 5.5. Gemini 4 Carbon de Google suit de près avec 10,9 %, tout en offrant des coûts nettement inférieurs, tandis que GPT-6 Astra marque 9,6 %. Des critiques soutiennent que les filtres de sécurité faussent lourdement ces classements, en particulier dans les domaines de la cybersécurité et de la biologie où certains modèles ont reçu un score nul. De plus, des inquiétudes ont été soulevées concernant le secret entourant les tâches testées et les conditions inégales créées par les logiciels propriétaires d'agents de chaque fournisseur. Malgré ces critiques, SemiAnalysis vise à mettre à jour régulièrement ce benchmark afin de suivre les progrès dans la simulation de travaux réels.
decoder