Le nouvel indice d'Artificial Analysis élargit l'écart entre les modèles ouverts et fermés
decoder ·
Artificial Analysis a révisé son Intelligence Index, élargissant considérablement l'écart de performance entre les modèles d'IA ouverts et fermés. À la suite de ces modifications, Kimi K3.1 Pro a perdu cinq places dans le classement, passant de la quatrième à la neuvième position, derrière huit modèles fermés. Le nouvel index place désormais cet écart à 12 points, une augmentation substantielle par rapport à la marge précédente de 3 points. Pour lutter contre le benchmaxxing, où les modèles sont entraînés sur des questions de test connues, 60 % du nouvel index repose sur des ensembles de tests privés. Ce changement suggère que les classements précédents pouvaient surestimer les capacités de certains modèles, comme en témoigne la perte significative de points de Grok 4.7. Cependant, les chercheurs soulignent que des infrastructures sophistiquées d'apprentissage par renforcement restent un facteur différenciant majeur pour les meilleurs performers. Bien que les tests fermés empêchent la manipulation, ils entravent également la vérification externe, ce qui a conduit Artificial Analysis à réviser les questions défectueuses dans des benchmarks tels que AA-Omniscience.
decoder