Los arneses complejos hacen que los agentes de codificación sean más caros pero no mejores
decoder ·
Un reciente estudio de investigadores de la Universidad de Shandong cuestiona la eficacia de los complejos arneses para agentes de codificación, descubriendo que aumentan los costos sin mejorar el rendimiento. El artículo, titulado "What does a harness buy? Mostly tokens" (¿Qué compra un arnés? Principalmente tokens), revela que alternar entre frameworks principales como Claude Code y mini-SWE-agent produce resultados estadísticamente equivalentes a simplemente volver a ejecutar la misma configuración. Aunque algunos vendedores afircan ganancias significativas en las puntuaciones, estas diferencias suelen caer dentro del rango de ruido natural de las pruebas de referencia. El impacto principal de los arneses sofisticados es un aumento sustancial en el consumo de tokens, impulsado en gran medida por prompts de sistema extensos y descripciones de herramientas, en lugar de una mejor resolución de tareas. Solo un arnés, OpenCode, mostró un déficit medible en el rendimiento, atribuido en parte a límites de salida y problemas de configuración. El estudio destaca que la elección del modelo tiene un impacto mucho mayor en los resultados que el arnés específico utilizado. En consecuencia, los autores argumentan que los tableros de clasificación actuales pueden ser engañosos debido a variables no controladas y a la falta de repeticiones. Recomiendan publicar las repeticiones junto con las comparaciones para distinguir las mejoras genuinas de la varianza aleatoria.
decoder