Trasformare la valutazione dei database in ricompense RL: Agent post-allenamento con ThinkingBox
huggingface ·
Microsoft e Hugging Face hanno rilasciato ThinkingBox-Training, un framework che converte la verifica dello stato del database in ricompense per l'apprendimento per rinforzo destinate ad agenti di intelligenza artificiale. Utilizzando verifiche eseguibili degli stati finali del database come ricompense binarie, il sistema addestra i modelli a garantire che producano risultati finali corretti anziché limitarsi a imitare le chiamate agli strumenti. Gli autori hanno applicato questo metodo per affinare Qwen3.8-27B utilizzando l'Ottimizzazione Relativa del Gruppo delle Politiche (GRPO) per 50 step. Questo addestramento ha migliorato significativamente l'affidabilità del modello, aumentando la percentuale di compiti completati con successo in tutte le venti prove dal 7,5% al 21,1%. Sebbene i tassi di successo medi siano aumentati di quasi nove punti, si è registrato un leggero calo nei compiti risolti almeno una volta, indicando uno spostamento verso prestazioni più coerenti. Il team ha utilizzato una stima offline della difficoltà relativa alla politica per selezionare un pool fisso di 187 compiti difficili per l'addestramento, escludendo completamente i dati del benchmark. I risultati mostrano che il modello affinato ha ottenuto costi inferiori per compito affidabile rispetto alla sua versione base, avvicinandosi all'efficienza dei modelli proprietari più grandi.
huggingface