AutoSynthData: Генерация обучающих данных для корпоративных агентов
huggingface ·
ServiceNow CoreAI представила AutoSynthData — систему, предназначенную для генерации высококачественных синтетических обучающих данных для корпоративных ИИ-агентов. Фреймворк решает проблему создания задач, которые являются выполнимыми, реалистичными и достаточно сложными, за счет использования сбоев моделей и более мощных моделей-учителей для выявления пробелов в возможностях. Задачи конструируются на основе системных спецификаций, пользовательских запросов и верификаторов, что обеспечивает их соответствие конкретным корпоративным средам, таким как ITSM. Процесс включает два этапа: генерацию базовых образцов и их умножение на новые варианты при сохранении качества благодаря строгим циклам верификации и исправления. Эксперименты на бенчмарке EnterpriseOps Gym показали значительное улучшение результатов: модель Gemma-4-26B-A4B-it достигла относительного увеличения показателя Pass@1 на 35% в гибридной области (Hybrid domain). Аналогичные результаты были получены в области ITSM, что подтверждает эффективность подхода в различных операционных контекстах. Благодаря постоянному смещению границы обучения на основе выявленных слабых мест, AutoSynthData позволяет проводить более целенаправленную и эффективную постобучение агентных систем.
huggingface