我们能信任大型语言模型来判断研究想法是否具有新颖性吗？
huggingface ·
人工智能研究所（Allen Institute for AI）发布了一项名为《旧思想，新问题》的新研究和基准测试，旨在评估大型语言模型作为科学新颖性评判者的可靠性。研究表明，大型语言模型难以始终如一地区分新思想与现有工作，提示词的微小变化会导致判决结果发生剧烈波动。在涉及六大主要模型的实验中，当评估由人工智能生成的想法时，仅改变提示词措辞就使准确率下降了超过50个百分点。虽然这些“评判者”对人类撰写的论文表现相对稳定，但在评估自动化构思系统的输出时却表现出显著的脆弱性。此外，增加复杂的检索机制或提高推理预算并未提升性能，反而往往在accuracy没有改善的情况下增加了成本。专门构建的评估管道表现甚至不如简单的提示基线，凸显了当前方法效率低下。这些发现表明，实现科学新颖性的自动化验证仍是一个未解决的挑战，需要更稳健和标准化的评估方法。
huggingface