Novo índice da Artificial Analysis amplia a lacuna entre modelos abertos e fechados
decoder ·
A Artificial Analysis reformulou seu Índice de Inteligência, ampliando significativamente a lacuna de desempenho entre modelos de IA abertos e fechados. Como resultado dessas mudanças, o Kimi K3.1 Pro caiu cinco posições no ranking, passando da quarta para a nona colocação, atrás de oito modelos fechados. O índice atualizado agora aponta uma disparidade de 12 pontos, um aumento substancial em relação à margem anterior de 3 pontos. Para combater o benchmaxxing, no qual os modelos são treinados com base em perguntas conhecidas dos testes, 60% do novo índice utiliza conjuntos de testes privados. Essa mudança sugere que as classificações anteriores podem ter superestimado as capacidades de certos modelos, como evidenciado pela perda significativa de pontos do Grok 4.7. No entanto, os pesquisadores observam que infraestrutura sofisticada de aprendizado por reforço continua sendo um diferencial chave para os principais desempenhos. Embora os testes fechados impeçam a manipulação dos resultados, eles também dificultam a verificação externa, levando a Artificial Analysis a revisar questões defeituosas em benchmarks como o AA-Omniscience.
decoder