StateBench：测试语言模型如何在长文档中跟踪状态变化
huggingface ·
AllenAI推出了StateBench，这是一个旨在评估语言模型在长文档中跟踪状态变化能力的新基准测试。该基准将任务分为四个复杂度层级：r-trivial、aperiodic、soluble和general finite，分别对应递增的变量赋值与依赖程度。研究人员测试了多种架构，包括标准Transformer、Gated DeltaNet和混合模型，以及Gemini 3.8 Flash和GPT-6等前沿商业模型。尽管预训练模型在处理更复杂的状态跟踪问题时，随着输入长度增加表现普遍不佳，但直接针对该任务训练的模型显示出显著的架构差异。具体而言，与Transformer相比，Gated DeltaNet和混合模型展现出更优越的泛化能力，而后者即使在明确针对最难任务进行训练时也未能成功。前沿模型在复杂序列上的准确率也出现急剧下降，凸显了其敏感性缺陷——即遗漏单次更新就会导致结果错误。研究表明，与传统Transformer设计相比，循环神经网络和混合架构可能为长上下文状态跟踪提供更稳健的解决方案。StateBench旨在为研究人员提供一种更精细的工具，以识别模型局限性并指导未来架构的开发。
huggingface