Преобразование оценки баз данных в вознаграждения RL: Агенты после обучения с ThinkingBox
huggingface ·
Компании Microsoft и Hugging Face выпустили фреймворк ThinkingBox-Training, который преобразует проверку состояния базы данных в вознаграждения для обучения с подкреплением (RL) ИИ-агентов. Используя исполняемые проверки конечных состояний базы данных в качестве бинарных вознаграждений, система обучает модели обеспечивать правильные итоговые результаты, а не просто имитировать вызовы инструментов. Авторы применили этот метод для дообучения модели Qwen3.8-27B с помощью групповой относительной оптимизации политики (GRPO) в течение 50 шагов. Это обучение значительно повысило надежность модели: доля задач, успешно выполненных во всех двадцати попытках, выросла с 7,5% до 21,1%. Хотя средний показатель успешности увеличился почти на девять пунктов, наблюдалось небольшое снижение доли задач, решенных хотя бы один раз, что указывает на смещение в сторону более стабильных результатов. Команда использовала оценку относительной сложности политик офлайн-методом для отбора фиксированного пула из 187 сложных задач для обучения, полностью исключив данные бенчмарка. Результаты показывают, что дообученная модель достигла более низких затрат на каждое надежное решение по сравнению с базовой версией, приблизившись к эффективности крупных проприетарных моделей.
huggingface