AutoSynthData: Generación de datos de entrenamiento para agentes empresariales
huggingface ·
ServiceNow CoreAI ha presentado AutoSynthData, un sistema diseñado para generar datos de entrenamiento sintéticos de alta calidad para agentes de IA empresariales. El marco aborda el desafío de crear tareas que sean viables, realistas y suficientemente difíciles, aprovechando los fallos del modelo y modelos maestros más potentes para identificar brechas de capacidad. Construye tareas utilizando especificaciones del sistema, indicaciones de usuario y verificadores, asegurando que se alineen con entornos empresariales específicos como ITSM. El proceso consta de dos fases: generar muestras centrales y multiplicarlas en variantes nuevas mientras se mantiene la calidad mediante rigurosos bucles de verificación y reparación. Los experimentos en el benchmark EnterpriseOps Gym demostraron mejoras significativas, con el modelo Gemma-4-26B-A4B-it logrando un aumento relativo del 35% en las puntuaciones Pass@1 en el dominio Híbrido. Se observaron ganancias similares en el dominio ITSM, lo que valida la efectividad del enfoque en diferentes contextos operativos. Al desplazar continuamente la frontera de entrenamiento basándose en las debilidades restantes, AutoSynthData permite un post-entrenamiento más dirigido y efectivo para sistemas agénticos.
huggingface