我们能否信任大语言模型判断研究想法是否新颖？

作者：Kyle Wiggers（Ai2Comms），发布于 allenai

论文 | 数据 | 代码

今天我们发布《旧想法，新问题》（Old Ideas, Novel Problems），这是一项关于大语言模型（LLM）能否可靠评估科学研究想法新颖程度的新研究。除论文之外，我们还一并发布了一个用于测试新颖性评判器的基准（benchmark）、数据和代码，以及一套研究者可用来构建新评估集的自动化流水线。

在 Ai2，我们一直在开发支持科学发现不同环节的 AI 系统。DataVoyager 帮助研究者探索和分析结构化数据，AutoDiscovery 生成并检验假设，Theorizer 则把大量文献中的证据综合成候选的科学理论。这些项目与 Asta 一起，指向这样一类系统：它们能帮助研究者从理解既有工作，走向提出、检验并改进新想法。

但生成研究想法只是自动化科学发现的一部分挑战。这些想法还必须贡献出真正新的东西，这意味着系统需要一种方式，把新颖方向与那些大多只是在重新包装既有工作的方向区分开来。

这项判断常常被交给另一个 LLM——也就是我们所说的新颖性评判器（novelty judge）。新颖性评判器评估某个研究想法相对于已有工作是否新颖，可以单独评估一个想法，也可以把它与另一个想法进行比较。构建评判器并没有标准做法；研究团队要自行选择模型、提示词（prompt）、评估格式、推理预算（reasoning budget），有时还要选择文献检索（retrieval）系统。这些选择会实质性地影响判定结果。然而，这些评判器往往只在人类撰写的论文上做过验证，而不是在它们真正要评估的、由 AI 生成的想法上验证。

我们新的基准结果提示：新颖性评估本身远不可靠。在六个 LLM 评判器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——上，评估设置中看似微小的改动，会让同一批想法得到差异极大的判断。在一项实验中，仅仅改动提示词里的几个词，就让模型在判断两个想法中哪一个更新颖上的准确率变动超过 50 个百分点。检索和额外推理并不能稳定地改善判断，而两个专门构建的新颖性评估系统，表现反而不如一个简单提示的 Claude Opus 4.6 基线。

如果 AI 要在科学发现中扮演更重要的角色，我们就需要更可靠的方式来判断它究竟有没有提出新东西。我们的工作为研究这个问题提供了工具，同时表明仍有多少问题未解。

为新颖性评判器构建基准#

要测试新颖性评判器区分"更新颖"与"较不新颖"研究想法时的可靠程度，我们首先需要一些例子，而这些例子背后的科学贡献是否具有原创性，必须有强证据支撑。

因此，我们围绕 ICLR 2026 的同行评审构建了一条自动化流水线。我们没有把论文被接收当作新颖性的替代指标，而是从评审意见本身挖掘那些评审人明确讨论某项贡献原创性的段落。这一区分至关重要：一篇论文可以在其他方面足够扎实而被接收，却并不特别新颖；同样，一篇被拒的论文也可能有原创贡献，只是存在其他弱点。

我们构建了一个高新颖性池，包含 154 个人类撰写的研究想法：选自其所在 ICLR 研究领域中评分前 10% 的已接收论文，且评审人正面指出了其新颖性，没有任何评审人就此提出异议。我们按相反的标准构建了低新颖性池：来自评分后 10% 的被拒论文的 145 个想法，其评审人提出了原创性方面的疑虑，且没有任何评审人正面指出其新颖性。在对评审挖掘过程的单独检查中，一位标注者在 50 个案例中的 47 个上与提取出的新颖性信号极性一致；没有任何一处分歧会改变某位评审人究竟是"称赞"还是"质疑"该论文新颖性的归类。

这两个池共同构成我们的第一个评估设置，称为 Human-Only（仅人类），它测试新颖性评判器能否区分有强证据表明新颖性较高或较低的人类撰写想法。但在实践中，新颖性评判器越来越多地被用于评估 AI 生成的想法。因此我们又创建了第二个设置：Human+Generated（人类+生成）。

在这个池中，我们把同一批 154 个经过验证的人类想法，与一个简单 LLM 生成器产出的 154 个想法配对。我们假设生成的想法不如其人类撰写的对应物新颖；这些是弱标签（weak labels），并非对每个想法都经过验证的判断。生成器只收到一个研究领域和一条"提出一个新颖想法"的指令，没有文献检索、没有工具、没有迭代、也没有反馈。这让我们在来自基础生成器的想法，与来自评审人明确认可其原创性的 ICLR 前 10% 论文的贡献之间，做了一次保守的比较。

作为额外检查，一位专家独立审阅了 30 组 Human+Generated 配对，并重点偏向我们最强评判器判断错误的案例；此外，我们把人类撰写和 AI 生成的想法改写成统一结构，以检验评判器是否只是在回应写作风格上的差异。这位专家在全部 30 组配对中都更偏好人类想法，并认为没有任何一个生成的想法是新颖的。

重要的是，我们的许多核心发现根本不依赖这些标签。如果两个合理的评估设置对同一组想法给出相反答案，那么这种分歧本身就暴露了不稳定性。

微小的改动就能带来截然不同的判定#

利用我们收集的人类撰写和 AI 生成的研究想法，我们测试了六个 LLM 评判器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——通过逐点（pointwise，即绝对新颖性打分）和成对（pairwise，即比较两个想法找出更新颖的一个）两种方式评估新颖性的能力。我们一次只改变一个因素：提示词、推理预算、评判器能否看到相关论文、想法如何格式化、把多少次判断合并为最终判定，以及（对 AI 生成的想法而言）由哪个模型生成它们。

表现上最大的变动来自我们如何提示模型去判断新颖性。

例如，我们把同样的 Human+Generated 配对——每组包含一个经过验证的人类撰写想法和一个 AI 生成想法——用两种提示词展示给 GPT-5.4。一种提示词告诉模型，评审人认为每组配对中恰好有一个想法是新颖的，并要求它指出是哪一个；另一种只是问它哪个想法新颖。当我们换成更简单的提示词时，准确率从 93.5% 下降到 40.9%——低于随机水平——并且模型在超过一半的相同配对上改变了判定。

相比之下，同样的提示词改动在 Human-Only 数据集上只让准确率变动约 7 个百分点，而该数据集配对的是新颖性证据较强与较弱的人类撰写想法。这说明，一个新颖性评判器在人类撰写的研究上可能显得相对稳定，但在 AI 生成的想法上表现会大不相同。

话虽如此，人类撰写的想法也并非不受影响。我们在 Human-Only 数据集上也看到了实质性变动；同样的改动让 Claude Opus 4.6 的准确率变动了 21 个百分点。只不过这些变动没有 AI 生成想法上那么剧烈。

也不存在普遍更好的提示词。例如，在逐个评判想法时，去掉那条提醒评判器不要把琐碎或渐进式贡献当作新颖的指令，会让一些评判器的准确率提高，却让另一些下降。换句话说，对某个模型有效的提示词未必能迁移到另一个模型。

我们还测试了新颖性评判器的一种常见用法：比较两个 AI 生成器的想法。我们把 Claude Opus 4.5 的想法与 Claude Sonnet 4.5 的配对，把 GPT-5.4 的与 GPT-5.1 的配对。在所测试的提示词改动中，六个评判器平均约有四分之一到三分之一的判定发生了改变。这种分歧无需假设哪个生成器产出的想法更新颖就能被测量出来，它表明评判词提示词的选择会影响构思系统之间的比较。

更多的搜索和推理并不必然带来更好的新颖性判断。我们给 GPT-5.6 Sol 配置了超高推理预算和限定在 arXiv 上的实时迭代搜索，然后将其与各自只看到五篇预先检索摘要的标准检索评判器比较。（这一比较中的所有评判器都在 Human+Generated 上对每个想法运行一次。）这个 agentic 评判器得到 0.78 的 macro-F1，比 Claude Opus 4.6 的 0.89 低 11 个百分点，大致与更简单的 Claude Opus 4.5 和 GPT-5.4 设置处于同一区间，而按当前 API 价格计算，其每次决策的成本约为后者的 10 倍。（在这里，macro-F1 衡量评判器识别新颖与非新颖想法的能力；越高越好。）

专门构建的评估器也不更准确，尽管成本高得多。在 Human+Generated 集上，一个使用低推理、并对三次调用做多数投票的简单 Claude Opus 4.6 提示词，达到 0.854 的 macro-F1，总评估成本为 2.59 美元。相比之下，Idea Novelty Checker——一条基于文献的检索与重排序流水线——得分 0.642，成本 30.66 美元；而 Sakana AI 的 AI Scientist 的新颖性评估器会迭代搜索 Semantic Scholar，得分 0.772，成本 82.05 美元。（两个专用评估器都使用 Claude Opus 4.6，每次决策一次调用。）

换句话说，简单提示的基线既比两个专门构建的系统更准确，也便宜得多。

综合来看，这些结果表明，新颖性评估在 AI 生成的想法上尤其脆弱，而这些系统正越来越多地被要求去评判的正是这类想法。

迈向更可靠的新颖研究评估#

我们的结果提示，基于 LLM 的新颖性评估仍是一个重大的开放问题。在人类撰写的研究上显得可靠的评判器，在 AI 生成的想法上可能表现不同；有助于一个模型的提示词可能损害另一个；更多的搜索或算力并不必然产生更一致的判断。

未来的工作应当在评判器实际要评估的那类想法上测试它们，测量其对提示词和模型的敏感性，改进先前文献的纳入方式，并构建能随科学文献增长和 AI 系统进步而演进的基准。我们的基准和可复用的数据流水线只是一个起点——研究者可以把它们应用于新的同行评审、其他科学共同体，以及未来世代的新颖性评判器。

自动化构思不仅取决于能否生成看似合理的研究方向；我们还需要判断这些想法何时真正是新的方法。通过让当前新颖性评判器的弱点更容易被测量，我们希望这次发布能帮助研究者构建更稳健的方式来评估 AI 生成的研究想法。

本文提到的数据集：1