OpenMobile-2 prouve que les agents smartphones open-source peuvent rivaliser avec les modèles propriétaires
decoder ·
Des chercheurs de l'Université de Nanjing et de SenseTime ont publié OpenMobile-2, un agent smartphone IA open-source capable de rivaliser avec les modèles propriétaires en termes de performance. Le projet utilise deux modèles basés sur Qwen, comptant respectivement 9 milliards et 27 milliards de paramètres, entraînés dans un environnement simulé contenant plus de 110 applications. Une découverte clé de l'étude est que la diversité de l'entraînement sur de nombreuses applications améliore considérablement les taux de réussite sur des applications non vues, davantage que la simple augmentation du volume de données. Sur de vrais appareils Android, le modèle le plus performant a obtenu un score de 59,6 au SPA-Bench, marquant le meilleur résultat parmi les modèles open-source. La configuration d'entraînement a consisté à reconstruire des applications chinoises et mondiales populaires afin de permettre une pratique sûre et répétable sans barrières de connexion ou d'achat. De plus, les agents ont été entraînés à utiliser des commandes directes lorsque cela était possible, leur permettant de contourner la navigation complexe dans les menus et d'accomplir les tâches en moins d'étapes. Bien que l'apprentissage par renforcement ait apporté certains avantages, les gains principaux provenaient de l'approche hybride combinant les actions à l'écran avec les outils exposés des applications. Ce travail démontre que les agents open-source peuvent efficacement concurrencer les systèmes fermés comme Gemini de Google grâce à des méthodologies d'entraînement innovantes.
decoder