AutoSynthData: Geração de dados de treinamento para agentes empresariais
huggingface ·
A ServiceNow CoreAI apresentou o AutoSynthData, um sistema projetado para gerar dados sintéticos de treinamento de alta qualidade para agentes de IA empresariais. O framework aborda o desafio de criar tarefas viáveis, realistas e suficientemente difíceis, aproveitando falhas do modelo e modelos professores mais fortes para identificar lacunas de capacidade. Ele constrói tarefas usando especificações do sistema, prompts do usuário e verificadores, garantindo que estejam alinhadas com ambientes empresariais específicos, como ITSM. O processo envolve duas fases: gerar amostras principais e multiplicá-las em variantes novas, mantendo a qualidade por meio de loops rigorosos de verificação e reparo. Experimentos no benchmark EnterpriseOps Gym demonstraram melhorias significativas, com o modelo Gemma-4-26B-A4B-it alcançando um aumento relativo de 35% nas pontuações Pass@1 no domínio Híbrido. Ganhos semelhantes foram observados no domínio ITSM, validando a eficácia da abordagem em diferentes contextos operacionais. Ao deslocar continuamente a fronteira de treinamento com base nas fraquezas restantes, o AutoSynthData permite um pós-treinamento mais direcionado e eficaz para sistemas agênticos.
huggingface