AutoSynthData : Génération de données d'entraînement pour les agents d'entreprise
huggingface ·
ServiceNow CoreAI a présenté AutoSynthData, un système conçu pour générer des données d'entraînement synthétiques de haute qualité pour les agents d'IA en entreprise. Ce cadre répond au défi consistant à créer des tâches réalisables, réalistes et suffisamment difficiles en exploitant les échecs des modèles et des modèles enseignants plus puissants afin d'identifier les lacunes en matière de capacités. Il construit des tâches à partir des spécifications du système, des invites utilisateur et de vérificateurs, garantissant ainsi leur alignement avec des environnements d'entreprise spécifiques tels que l'ITSM. Le processus comprend deux phases : la génération d'échantillons de base et leur multiplication en variantes novelles tout en maintenant la qualité grâce à des boucles rigoureuses de vérification et de réparation. Les expériences menées sur le benchmark EnterpriseOps Gym ont démontré des améliorations significatives, le modèle Gemma-4-26B-A4B-it ayant enregistré une augmentation relative de 35 % des scores Pass@1 dans le domaine Hybride. Des gains similaires ont été observés dans le domaine ITSM, validant l'efficacité de cette approche dans différents contextes opérationnels. En faisant évoluer continuellement la frontière de l'entraînement en fonction des faiblesses restantes, AutoSynthData permet un post-entraînement plus ciblé et efficace pour les systèmes agents.
huggingface