Новый индекс Artificial Analysis расширяет разрыв между открытыми и закрытыми моделями
decoder ·
Artificial Analysis пересмотрела свой Индекс интеллекта, значительно увеличив разрыв в производительности между открытыми и закрытыми ИИ-моделями. В результате этих изменений Kimi K3.1 Pro опустилась на пять позиций в рейтинге, опустившись с четвертого на девятое место, уступив восемь закрытых моделей. Обновленный индекс теперь показывает разницу в 12 баллов — существенное увеличение по сравнению с предыдущим показателем в 3 балла. Для борьбы с бенчмарксмингом, когда модели обучаются на известных тестовых вопросах, 60 процентов нового индекса основаны на закрытых наборах данных. Этот сдвиг предполагает, что предыдущие рейтинги могли завышать возможности некоторых моделей, о чем свидетельствует также значительная потеря очков Grok 4.7. Однако исследователи отмечают, что сложная инфраструктура обучения с подкреплением остается ключевым фактором, отличающим лидеров. Хотя закрытые тесты предотвращают манипуляции с результатами, они также затрудняют внешнюю проверку, из-за чего Artificial Analysis пересмотрела ошибочные вопросы в таких бенчмарках, как AA-Omniscience.
decoder