StateBench: Probando cómo los modelos de lenguaje rastrean cambios de estado en documentos largos
huggingface ·
AllenAI ha presentado StateBench, un nuevo punto de referencia diseñado para evaluar qué tan bien los modelos de lenguaje rastrean cambios de estado en documentos extensos. El benchmark clasifica las tareas en cuatro niveles de complejidad: r-trivial, aperiódico, soluble y finito general, que corresponden a grados crecientes de asignación de variables y dependencia. Los investigadores probaron varias arquitecturas, incluidos transformadores estándar, Gated DeltaNet y modelos híbridos, así como modelos comerciales de vanguardia como Gemini 3.8 Flash y GPT-6. Si bien los modelos preentrenados generalmente tuvieron dificultades con problemas más difíciles de seguimiento de estado a medida que aumentaba la longitud de la entrada, los modelos entrenados directamente en la tarea mostraron diferencias arquitectónicas significativas. Específicamente, Gated DeltaNet y los modelos híbridos demostraron capacidades de generalización superiores en comparación con los transformadores, los cuales fallaron incluso cuando se entrenaron explícitamente en las tareas más difíciles. Los modelos de vanguardia también exhibieron caídas pronunciadas en la precisión en secuencias complejas, lo que destaca problemas de sensibilidad donde omitir una sola actualización conduce a resultados incorrectos. El estudio sugiere que las arquitecturas recurrentes e híbridas pueden ofrecer soluciones más robustas para el seguimiento de estado en contextos largos que los diseños tradicionales de transformadores. StateBench tiene como objetivo proporcionar a los investigadores una herramienta de mayor granularidad para identificar las limitaciones de los modelos y guiar el desarrollo de futuras arquitecturas.
huggingface