StateBench: Testando como os modelos de linguagem rastreiam mudanças de estado em documentos longos
huggingface ·
A AllenAI apresentou o StateBench, um novo benchmark projetado para avaliar o desempenho dos modelos de linguagem no rastreamento de mudanças de estado ao longo de documentos longos. O benchmark categoriza as tarefas em quatro níveis de complexidade: r-trivial, aperiódico, solúvel e finito geral, que correspondem a graus crescentes de atribuição de variáveis e dependência. Os pesquisadores testaram várias arquiteturas, incluindo transformers padrão, Gated DeltaNet e modelos híbridos, bem como modelos comerciais de ponta como Gemini 3.8 Flash e GPT-6. Embora os modelos pré-treinados tenham tido dificuldades gerais com problemas mais difíceis de rastreamento de estado à medida que o comprimento da entrada aumentava, os modelos treinados diretamente na tarefa mostraram diferenças arquiteturais significativas. Especificamente, o Gated DeltaNet e os modelos híbridos demonstraram capacidades superiores de generalização em comparação com os transformers, que falharam mesmo quando treinados explicitamente nas tarefas mais difíceis. Os modelos de ponta também apresentaram quedas acentuadas na precisão em sequências complexas, destacando questões de sensibilidade onde perder uma única atualização leva a resultados incorretos. O estudo sugere que as arquiteturas recorrentes e híbridas podem oferecer soluções mais robustas para o rastreamento de estado em contextos longos do que os designs tradicionais de transformers. O StateBench visa fornecer aos pesquisadores uma ferramenta mais refinada para identificar as limitações dos modelos e orientar o desenvolvimento de futuras arquiteturas.
huggingface