StateBench : Tester la capacité des modèles de langage à suivre les changements d'état dans de longs documents
huggingface ·
L'AllenAI a présenté StateBench, un nouveau benchmark conçu pour évaluer la capacité des modèles de langage à suivre les changements d'état dans des documents longs. Ce benchmark classe les tâches en quatre niveaux de complexité : r-trivial, aperiodic, soluble et general finite, qui correspondent à des degrés croissants d'affectation de variables et de dépendance. Les chercheurs ont testé diverses architectures, notamment les transformateurs standards, le Gated DeltaNet et des modèles hybrides, ainsi que des modèles commerciaux de pointe tels que Gemini 3.8 Flash et GPT-6. Bien que les modèles préentraînés aient généralement eu du mal avec les problèmes de suivi d'état plus complexes à mesure que la longueur des entrées augmentait, les modèles entraînés directement sur la tâche ont montré des différences architecturales significatives. Plus précisément, le Gated DeltaNet et les modèles hybrides ont démontré de meilleures capacités de généralisation par rapport aux transformateurs, qui ont échoué même lorsqu'ils étaient explicitement entraînés sur les tâches les plus difficiles. Les modèles de pointe ont également présenté des baisses marquées de précision sur les séquences complexes, mettant en évidence des sensibilités où l'oubli d'une seule mise à jour entraîne des résultats incorrects. L'étude suggère que les architectures récurrentes et hybrides pourraient offrir des solutions plus robustes pour le suivi d'état sur de longs contextes que les conceptions traditionnelles de transformateurs. StateBench vise à fournir aux chercheurs un outil plus fin pour identifier les limites des modèles et guider le développement de futures architectures.
huggingface