Schnelle LLM-Entwicklung überholt die Forschung zu ihrer Erklärung
decoder ·
Eine aktuelle Studie von Stanford-Forschern, Owen Queen und James Zou, zeigt auf, dass die rasanten Fortschritte bei Large Language Models (LLMs) dazu führen, dass viele etablierte Forschungsergebnisse veralten. Das Team testete 50 weit verbreitete Behauptungen gegen 20 verschiedene Modelle, die zwischen Juli 2024 und September 2026 veröffentlicht wurden, und stellte fest, dass 44 Prozent dieser Erkenntnisse bereits abgelaufen sind. Im Durchschnitt betrug die Lebensdauer eines Ergebnisses nur 15,7 Monate, wobei die Auslaufquoten im Laufe der Zeit deutlich anstiegen. Behauptungen über Modellgrenzen, insbesondere bei Aufgaben wie Zählen oder Arithmetik, veralten am schnellsten, da Entwickler spezifische korrekte Ergebnisse leicht gezielt erreichen können. Im Gegensatz dazu zeigen Verhaltensneigungen wie Gefälligkeit (Sycophancy) und politische Voreingenommenheit eine größere Beständigkeit, wobei einige sogar mit der Zeit stärker werden. Während die Halluzinationsraten bei wissenschaftlichen Zitaten in Top-Modellen dramatisch sanken, bleibt die Variabilität zwischen verschiedenen Systemen innerhalb desselben Veröffentlichungsfensters erheblich. Die Forscher kommen zu dem Schluss, dass empirische Ergebnisse eher als Momentaufnahmen spezifischer Modelle denn als universelle Wahrheiten betrachtet werden sollten, und plädieren für bessere Dokumentationspraktiken.
decoder