Même modèle, harnais différent : CUGA, Hermes et Deep Agents — Quand choisir CUGA ?
huggingface ·
IBM Research a mené une expérience contrôlée comparant trois harnais d'agents — CUGA, Hermes et Deep Agents — en utilisant le même modèle GLM-5.3-flash sur 90 tâches AppWorld. L'étude a révélé que le changement de harnais avait un impact significatif sur les performances, avec des taux de réussite des tâches allant de 30 % pour Deep Agents à 81 % pour CUGA. Bien que Hermes et Deep Agents excellent respectivement dans l'assistance personnelle et la recherche multi-étapes longue, CUGA est spécifiquement conçu pour les environnements d'entreprise nécessitant une application stricte des règles. CUGA atteint une cohérence supérieure grâce à l'intégration de fonctionnalités telles que la décomposition des tâches, des bac à sable pour l'exécution de code et une vérification pré-exécution. Crucialement, il retire les règles métier des invites système pour les intégrer dans des politiques appliquées au moment de l'exécution, garantissant ainsi la conformité indépendamment des décisions du modèle. Cette approche permet un déploiement sécurisé dans des nuages souverains ou des réseaux isolés tout en maintenant des contrôles de coûts mesurables. L'article conclut que le choix du bon harnais dépend de la charge de travail spécifique, recommandant CUGA pour l'automatisation d'entreprise complexe et soumise à des règles.
huggingface