Nenhum agente de IA supera 12% na nova avaliação de trabalho real da SemiAnalysis
decoder ·
A SemiAnalysis lançou o benchmark GDPx, que avalia agentes de IA em 206 tarefas dentro de ambientes profissionais de software realistas, em vez de simples testes de conhecimento. Os resultados indicam que nenhum modelo atual tem bom desempenho, com a maior pontuação sendo apenas 12%, obtida pelo Claude Opus 5.5. O Gemini 4 Carbon da Google ficou logo atrás, com 10,9%, oferecendo custos significativamente menores, enquanto o GPT-6 Astra marcou 9,6%. Críticos argumentam que os filtros de segurança distorcem pesadamente essas classificações, especialmente nos domínios de cibersegurança e biologia, onde alguns modelos receberam zero pontos. Além disso, levantaram-se preocupações sobre o sigilo das tarefas de teste e as condições desiguais criadas pelo software proprietário de agente de cada fornecedor. Apesar dessas críticas, a SemiAnalysis pretende atualizar o benchmark regularmente para acompanhar o progresso na simulação de trabalho do mundo real.
decoder