Les harnais sophistiqués rendent les agents de codage plus chers sans les améliorer
decoder ·
Une étude récente menée par des chercheurs de l'Université de Shandong remet en question l'efficacité des harnais d'agents de codage complexes, révélant qu'ils augmentent les coûts sans améliorer les performances. L'article, intitulé « What does a harness buy? Mostly tokens » (Que procure un harnais ? Principalement des jetons), montre que le basculement entre des frameworks majeurs tels que Claude Code et mini-SWE-agent donne des résultats statistiquement équivalents à une simple réexécution du même environnement. Bien que certains fournisseurs prétendent obtenir des gains significatifs aux classements, ces différences tombent souvent dans la marge de bruit naturel des tests de référence. L'impact principal des harnais sophistiqués est une augmentation substantielle de la consommation de jetons, principalement due à des invites système et des descriptions d'outils volumineuses plutôt qu'à une meilleure résolution des tâches. Un seul harnais, OpenCode, a présenté un déficit mesurable de performance, partiellement attribué à des limites de sortie et à des problèmes de configuration. L'étude souligne que le choix du modèle a bien plus d'influence sur les résultats que le harnais spécifique utilisé. Par conséquent, les auteurs soutiennent que les classements actuels peuvent être trompeurs en raison de variables non contrôlées et du manque d'essais répétés. Ils recommandent de publier des répétitions alongside des comparaisons afin de distinguer les améliorations réelles de la variance aléatoire.
decoder