El nuevo índice de Artificial Analysis amplía la brecha entre modelos abiertos y cerrados
decoder ·
Artificial Analysis ha renovado su Índice de Inteligencia, ampliando significativamente la brecha de rendimiento entre los modelos de IA abiertos y cerrados. Como resultado de estos cambios, Kimi K3.1 Pro cayó cinco posiciones en el ranking, pasando del cuarto al noveno lugar, detrás de ocho modelos cerrados. El índice actualizado sitúa ahora la disparidad en 12 puntos, un aumento sustancial respecto al margen anterior de 3 puntos. Para combatir el 'benchmaxxing', donde los modelos se entrenan con preguntas de prueba conocidas, el 60 por ciento del nuevo índice se basa en conjuntos de pruebas privados. Este cambio sugiere que las clasificaciones anteriores pueden haber exagerado las capacidades de ciertos modelos, como lo evidencia la pérdida significativa de puntos de Grok 4.7. Sin embargo, los investigadores señalan que una infraestructura sofisticada de aprendizaje por refuerzo sigue siendo un diferenciador clave para los mejores resultados. Aunque las pruebas privadas evitan la manipulación, también dificultan la verificación externa, lo que llevó a Artificial Analysis a revisar preguntas defectuosas en benchmarks como AA-Omniscience.
decoder