Ningún agente de IA supera el 12 por ciento en la nueva prueba de trabajo real de SemiAnalysis
decoder ·
SemiAnalysis ha publicado la benchmark GDPx, que evalúa a los agentes de IA en 206 tareas dentro de entornos profesionales de software realistas, en lugar de simples cuestionarios de conocimientos. Los resultados indican que ningún modelo actual tiene un buen desempeño, con la puntuación más alta siendo apenas del 12 %, lograda por Claude Opus 5.5. Google's Gemini 4 Carbon lo siguió de cerca con un 10,9 % mientras ofrecía costos significativamente menores, y GPT-6 Astra obtuvo un 9,6 %. Los críticos argumentan que los filtros de seguridad distorsionan considerablemente estas clasificaciones, particularmente en los dominios de ciberseguridad y biología, donde algunos modelos recibieron puntuaciones cero. Además, se han planteado preocupaciones sobre el secreto de las tareas de prueba y las condiciones desiguales creadas por el software propietario de agentes de cada proveedor. A pesar de estas críticas, SemiAnalysis tiene como objetivo actualizar la benchmark regularmente para seguir el progreso en la simulación de trabajo del mundo real.
decoder