Convertir la calificación de bases de datos en recompensas RL: Agentes post-entrenamiento con ThinkingBox
huggingface ·
Microsoft y Hugging Face han lanzado ThinkingBox-Training, un marco que convierte la verificación del estado de una base de datos en recompensas de aprendizaje por refuerzo para agentes de IA. Al utilizar comprobaciones ejecutables de los estados finales de la base de datos como recompensas binarias, el sistema entrena a los modelos para garantizar que produzcan resultados finales correctos en lugar de simplemente imitar las llamadas a herramientas. Los autores aplicaron este método para ajustar finamente Qwen3.8-27B mediante Optimización Relativa de Políticas en Grupo (GRPO) durante 50 pasos. Este entrenamiento mejoró significativamente la fiabilidad del modelo, aumentando el porcentaje de tareas completadas con éxito en todos los veinte intentos del 7,5 % al 21,1 %. Aunque las tasas de éxito promedio aumentaron casi nueve puntos, hubo un ligero descenso en las tareas resueltas al menos una vez, lo que indica un cambio hacia un rendimiento más consistente. El equipo utilizó la estimación offline de dificultad relativa a la política para seleccionar un conjunto fijo de 187 tareas desafiantes para el entrenamiento, excluyendo por completo los datos del punto de referencia. Los resultados muestran que el modelo ajustado logró menores costos por tarea confiable en comparación con su versión base, acercándose a la eficiencia de modelos propietarios más grandes.
huggingface