大型语言模型快速发展超越了解释其原理的研究 | AI Archive

大型语言模型快速发展超越了解释其原理的研究

decoder · 2026-11-03T19:41:43+00:00

斯坦福大学研究人员欧文·昆恩（Owen Queen）和邹至洲（James Zou）的一项最新研究发现，大型语言模型（LLM）的快速发展导致许多既定的研究成果迅速过时。研究团队对2024年7月至2026年9月期间发布的20种不同模型进行了测试，检验了50项被广泛引用的论断，发现其中44%的研究结果已经失效。平均而言，一项研究成果的生命周期仅为15.7个月，且随着时间推移，其失效率显著上升。关于模型局限性的论断——特别是在计数或算术等推理任务方面——往往失效最快，因为开发者能够轻易针对特定正确结果进行优化。相比之下，如阿谀奉承和政治偏见等行为倾向表现出更强的持久性，部分甚至随时间推移而增强。尽管顶级模型在科学引用方面的幻觉率大幅下降，但在同一发布窗口内的不同系统之间仍存在显著差异。研究人员得出结论，实证结果应被视为特定模型的快照，而非普遍真理，并呼吁改进文档记录实践。