StateBench: Тестирование того, как языковые модели отслеживают изменения состояния в длинных документах
huggingface ·
AllenAI представила StateBench — новый бенчмарк, предназначенный для оценки способности языковых моделей отслеживать изменения состояния в длинных документах. Задачи в этом бенчмарке разделены на четыре уровня сложности: r-trivial, aperiodic, soluble и general finite, которые соответствуют возрастающей степени присваивания переменных и зависимостей. Исследователи протестировали различные архитектуры, включая стандартные трансформеры, Gated DeltaNet и гибридные модели, а также передовые коммерческие модели, такие как Gemini 3.8 Flash и GPT-6. Хотя предварительно обученные модели в целом испытывали трудности с более сложными задачами отслеживания состояния по мере увеличения длины входных данных, модели, обученные непосредственно на этой задаче, показали значительные архитектурные различия. В частности, Gated DeltaNet и гибридные модели продемонстрировали превосходную способность к обобщению по сравнению с трансформерами, которые терпели неудачу даже при явном обучении на самых сложных задачах. Передовые модели также проявили резкое снижение точности на сложных последовательностях, что подчеркивает их чувствительность: пропуск одного обновления приводит к неверным результатам. Исследование предполагает, что рекуррентные и гибридные архитектуры могут предложить более надежные решения для отслеживания состояния в длинном контексте, чем традиционные дизайны трансформеров. StateBench призвана предоставить исследователям более детальный инструмент для выявления ограничений моделей и направления разработки будущих архитектур.
huggingface