Transformar a avaliação de bancos de dados em recompensas RL: Agentes pós-treinamento com ThinkingBox
huggingface ·
A Microsoft e a Hugging Face lançaram o ThinkingBox-Training, uma estrutura que converte a verificação do estado do banco de dados em recompensas de aprendizado por reforço para agentes de IA. Ao utilizar verificações executáveis dos estados finais do banco de dados como recompensas binárias, o sistema treina os modelos para garantir que produzam resultados finais corretos, em vez de apenas imitar chamadas de ferramentas. Os autores aplicaram esse método para ajustar finamente o Qwen3.8-27B usando Otimização de Política Relativa ao Grupo (GRPO) em 50 etapas. Esse treinamento melhorou significativamente a confiabilidade do modelo, aumentando a porcentagem de tarefas concluídas com sucesso em todas as vinte tentativas de 7,5% para 21,1%. Embora as taxas médias de sucesso tenham subido quase nove pontos, houve um leve declínio nas tarefas resolvidas pelo menos uma vez, indicando uma mudança para um desempenho mais consistente. A equipe utilizou estimativa offline da dificuldade relativa à política para selecionar um conjunto fixo de 187 tarefas desafiadoras para o treinamento, excluindo totalmente os dados do benchmark. Os resultados mostram que o modelo ajustado atingiu custos menores por tarefa confiável em comparação com sua versão base, aproximando-se da eficiência de modelos proprietários maiores.
huggingface