Ни один ИИ-агент не набирает более 12 процентов в новом реальном рабочем бенчмарке SemiAnalysis
decoder ·
SemiAnalysis представила бенчмарк GDPx, который оценивает ИИ-агентов по 206 задачам в реалистичных профессиональных программных средах, а не в виде простых тестов на знание фактов. Результаты показывают, что ни одна из текущих моделей не демонстрирует высоких результатов: лучший балл — всего 12 процентов, который набрал Claude Opus 5.5. За ним последовал Gemini 4 Carbon от Google с результатом 10,9 процента при значительно более низкой стоимости, а GPT-6 Astra набрала 9,6 процента. Критики утверждают, что фильтры безопасности сильно искажают эти рейтинги, особенно в областях кибербезопасности и биологии, где некоторые модели получили нулевые баллы. Кроме того, были выражены опасения по поводу секретности тестовых заданий и неравных условий, создаваемых проприетарным программным обеспечением агентов каждого поставщика. Несмотря на эту критику, SemiAnalysis планирует регулярно обновлять бенчмарк, чтобы отслеживать прогресс в симуляции реальной рабочей деятельности.
decoder