StateBench: Testen, wie Sprachmodelle Zustandsänderungen in langen Dokumenten verfolgen
huggingface ·
AllenAI hat StateBench eingeführt, einen neuen Benchmark zur Bewertung der Fähigkeit von Sprachmodellen, Zustandsänderungen in langen Dokumenten zu verfolgen. Der Benchmark kategorisiert Aufgaben in vier Komplexitätsstufen: r-trivial, aperiodisch, lösbar und allgemein endlich, die steigenden Graden der Variablenzuweisung und Abhängigkeit entsprechen. Forscher testeten verschiedene Architekturen, darunter Standard-Transformer, Gated DeltaNet und hybride Modelle, sowie fortschrittliche kommerzielle Modelle wie Gemini 3.8 Flash und GPT-6. Während vortrainierte Modelle bei schwierigeren Zustandsverfolgungsproblemen mit zunehmender Eingabelänge im Allgemeinen Schwierigkeiten hatten, zeigten Modelle, die direkt für die Aufgabe trainiert wurden, erhebliche architektonische Unterschiede. Insbesondere Gated DeltaNet und hybride Modelle demonstrierten überlegene Verallgemeinerungsfähigkeiten im Vergleich zu Transformern, die selbst dann versagten, wenn sie explizit auf die schwierigsten Aufgaben trainiert wurden. Auch fortschrittliche Modelle zeigten starke Genauigkeitsrückgänge bei komplexen Sequenzen, was Empfindlichkeitsprobleme aufzeigt, bei denen das Auslassen eines einzelnen Updates zu falschen Ergebnissen führt. Die Studie legt nahe, dass rekurrente und hybride Architekturen robustere Lösungen für die Zustandsverfolgung in langen Kontexten bieten könnten als traditionelle Transformer-Designs. StateBench zielt darauf ab, Forschern ein feiner granulares Werkzeug zur Identifizierung von Modellgrenzen bereitzustellen und die Entwicklung zukünftiger Architekturen zu lenken.
huggingface