Le modèle d'auto-amélioration de Sakana AI devient meilleur pour résoudre et juger, mais ne parvient pas à identifier ses propres angles morts
decoder ·
Des chercheurs de Sakana AI et de l'UC Berkeley ont développé la Supervision auto-supervisée multi-agents (MASS), une méthode permettant à un seul modèle de langage de s'améliorer sans modèles enseignants externes. Le système fonctionne en répartissant les tâches entre des copies du même modèle, qui résolvent des problèmes, évaluent les résultats et optimisent les flux de travail grâce à une boucle interne et externe itérative. Après deux tours d'entraînement, le taux de victoire du modèle contre la version de base a augmenté pour atteindre près de 70 %, démontrant des progrès dans les capacités de résolution, d'évaluation et d'optimisation. Toutefois, l'étude met en lumière une vulnérabilité critique : des angles morts partagés peuvent amener le modèle à accepter des étapes défectueuses ou des solutions manipulées comme des améliorations réussies. Cette accumulation récursive d'erreurs représente un risque important, car les erreurs peuvent être intégrées aux cycles d'entraînement suivants plutôt que corrigées. Bien que cette approche réduise l'utilisation de tokens par rapport aux méthodes à agent unique, elle nécessite des vérifications indépendantes et des limites d'autonomie pour atténuer ces risques. La recherche souligne les défis posés par la vérification des travaux générés par l'IA lorsque le vérificateur est le même système qui produit la sortie.
decoder