GPT-6-Astra以每个2.40美元的成本解决了50个物理研究问题中的49个
decoder ·
由包括哈佛大学和谷歌DeepMind在内的35名研究人员开发的TheoPhysEval新基准测试,评估AI代理在50道未发表的理论物理问题上的表现。GPT-6-Astra成为表现最佳者,以每道题平均成本低于3美元的价格正确解答了50道题中的49道。该基准测试侧重于常规的“按部就班”计算,而非宏大的开放挑战,表明领先模型已有效记忆了大量物理学文献。尽管AI在执行特定计算方面已达到或超越人类专家水平,但作者指出,缺乏科学“品味”使得这些工具尚无法生成突破性理论。研究强调,互联网接入对性能影响甚微,暗示当前大型语言模型内部拥有强大的知识库。此外,部分初始失败被归因于专家提供的答案键存在细微错误,而非模型本身的缺陷。研究人员警告称,虽然AI降低了基础计算的门槛,但未来可能会使资源优势向理论物理学界资金充裕的群体倾斜。
decoder