AutoSynthData:为企业智能体生成训练数据
huggingface ·
ServiceNow CoreAI推出了AutoSynthData,这是一个旨在为企业AI智能体生成高质量合成训练数据的系统。该框架利用模型失败案例和更强的教师模型来识别能力差距,从而解决创建可行、真实且难度适中的任务所面临的挑战。它通过系统规范、用户提示和验证器构建任务,确保其与ITSM等特定企业环境保持一致。该流程分为两个阶段:生成核心样本,并通过严格的验证和修复循环将其扩展为大量新颖的变体,同时保持质量。在EnterpriseOps Gym基准测试中的实验表明,Gemma-4-26B-A4B-it模型在混合领域的Pass@1得分实现了35%的相对提升。在ITSM领域也观察到了类似的增益,验证了该方法在不同运营上下文中的有效性。通过根据剩余弱点不断调整训练前沿,AutoSynthData使得针对智能体系统的后训练更加精准和有效。
huggingface