AutoSynthData: Generierung von Trainingsdaten für Unternehmensagenten
huggingface ·
ServiceNow CoreAI hat AutoSynthData eingeführt, ein System zur Generierung hochwertiger synthetischer Trainingsdaten für Enterprise-AI-Agenten. Der Rahmen behandelt die Herausforderung, Aufgaben zu erstellen, die machbar, realistisch und ausreichend schwierig sind, indem er Modellfehler und stärkere Lehrermodelle nutzt, um Lücken in den Fähigkeiten zu identifizieren. Er konstruiert Aufgaben anhand von Systemspezifikationen, Benutzer-Prompts und Verifikatoren, um sicherzustellen, dass sie mit spezifischen Unternehmensumgebungen wie ITSM übereinstimmen. Der Prozess umfasst zwei Phasen: das Generieren von Kernproben und deren Multiplikation in neue Varianten, wobei die Qualität durch strenge Verifikations- und Reparatur-Schleifen aufrechterhalten wird. Experimente auf dem EnterpriseOps-Gym-Benchmark zeigen erhebliche Verbesserungen; das Gemma-4-26B-A4B-it-Modell erzielte im Hybrid-Domain eine relative Steigerung der Pass@1-Werte um 35 %. Ähnliche Zuwächse wurden im ITSM-Domain beobachtet, was die Wirksamkeit des Ansatzes in verschiedenen operationellen Kontexten bestätigt. Durch das kontinuierliche Verschieben der Trainingsgrenze basierend auf verbleibenden Schwächen ermöglicht AutoSynthData eine gezieltere und effektivere Nachschulung agenticer Systeme.
huggingface