Datenbankbewertung in RL-Belohnungen umwandeln: Post-Training-Agenten mit ThinkingBox
huggingface ·
Microsoft und Hugging Face haben ThinkingBox-Training veröffentlicht, ein Framework, das die Überprüfung des Datenbankzustands in Belohnungen für Reinforcement Learning für KI-Agenten umwandelt. Durch die Verwendung ausführbarer Prüfungen von Endzuständen der Datenbank als binäre Belohnungen trainiert das System Modelle darauf, korrekte Endergebnisse zu erzielen, anstatt lediglich Tool-Aufrufe nachzuahmen. Die Autoren wandten diese Methode an, um Qwen3.8-27B mit Group Relative Policy Optimization (GRPO) über 50 Schritte feinabzustimmen. Dieses Training verbesserte die Zuverlässigkeit des Modells erheblich: Der Anteil der Aufgaben, die bei allen zwanzig Versuchen erfolgreich abgeschlossen wurden, stieg von 7,5 % auf 21,1 %. Während die durchschnittlichen Erfolgsquoten um fast neun Punkte zunahmen, gab es einen leichten Rückgang bei den Aufgaben, die mindestens einmal gelöst wurden, was auf eine Verschiebung hin zu einer konsistenteren Leistung hindeutet. Das Team nutzte eine offline-basierte Schätzung der relativ zur Politik gemachten Schwierigkeit, um einen festen Pool von 187 herausfordernden Aufgaben für das Training auszuwählen und schloss dabei die Benchmark-Daten vollständig aus. Die Ergebnisse zeigen, dass das feinabgestimmte Modell niedrigere Kosten pro zuverlässiger Aufgabe im Vergleich zu seiner Basisversion erreichte und sich der Effizienz größerer proprietärer Modelle annäherte.
huggingface