Il nuovo indice di Artificial Analysis amplia il divario tra modelli aperti e chiusi
decoder ·
Artificial Analysis ha rivoluzionato il suo Intelligence Index, ampliando significativamente il divario di prestazioni tra i modelli AI open source e quelli chiusi. A seguito di queste modifiche, Kimi K3.1 Pro è sceso di cinque posizioni nella classifica, passando dal quarto al nono posto, dietro a otto modelli chiusi. L'indice aggiornato ora colloca la disparità a 12 punti, un aumento sostanziale rispetto al precedente margine di 3 punti. Per contrastare il benchmaxxing, ovvero l'addestramento dei modelli su domande di test note, il 60% del nuovo indice si basa su set di test privati. Questo cambiamento suggerisce che le classifiche precedenti potrebbero aver sovrastimato le capacità di alcuni modelli, come evidenziato anche dalla significativa perdita di punti di Grok 4.7. Tuttavia, i ricercatori sottolineano che infrastrutture sofisticate di reinforcement learning rimangono un fattore distintivo chiave per i migliori performer. Sebbene i test privati impediscano la manipolazione dei risultati, ostacolano anche la verifica esterna, portando Artificial Analysis a rivedere le domande difettose in benchmark come AA-Omniscience.
decoder