Harnesses elaborados tornam os agentes de codificação mais caros, mas não melhores
decoder ·
Um estudo recente de pesquisadores da Universidade de Shandong questiona a eficácia de harnesses complexos para agentes de codificação, constatando que eles aumentam os custos sem melhorar o desempenho. O artigo, intitulado "What does a harness buy? Mostly tokens", revela que alternar entre frameworks principais, como Claude Code e mini-SWE-agent, produz resultados estatisticamente equivalentes a simplesmente reexecutar a mesma configuração. Embora alguns fornecedores aleguem ganhos significativos nas pontuações, essas diferenças frequentemente ficam dentro da faixa de ruído natural dos testes de benchmark. O principal impacto dos harnesses sofisticados é um aumento substancial no consumo de tokens, impulsionado em grande parte por prompts de sistema extensos e descrições de ferramentas, em vez de uma melhor resolução de tarefas. Apenas um harness, o OpenCode, apresentou um déficit mensurável de desempenho, parcialmente atribuído a limites de saída e problemas de configuração. O estudo destaca que a escolha do modelo tem um impacto muito maior nos resultados do que o harness específico utilizado. Consequentemente, os autores argumentam que os rankings atuais podem ser enganosos devido a variáveis não controladas e à falta de repetições de ensaios. Eles recomendam publicar as reexecuções junto com as comparações para distinguir melhorias genuínas da variação aleatória.
decoder