OpenFrontiers：开放研究问题集合与科学重现基准
本文目录
arXiv:2610.37739（cs）
[提交于 2026 年 10 月 27 日]
标题：OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery
作者：Jiarui Yao、Ruida Wang、Tong Zhang
摘要#
大语言模型（LLM）在研究级问题求解上展现出越来越大的潜力，但此类问题的全面集合仍然缺失，且在其上评估研究级问题依然具有挑战性。我们提出 OpenFrontiers——一个跨学科资源，它把结构化的开放研究问题语料库与一个针对数学领域近期已解决问题构建的回溯性基准结合起来。该语料库记录了 12,151 个问题的陈述、背景、进展及其他信息。基准包含 200 个问题，其中 110 个在 2026 年被解决，90 个仍然开放；每个问题都带有经自动化探针检查并由两名独立评审者审核的 Lean 4 陈述；一个名为 HQ-50 的子集进一步按质量分数等进行筛选。我们的评估协议在隔离沙箱中、以闭卷（closed-book）、冻结检索（frozen-retrieval）和实时联网（live-web）三种条件，用两个独立检查器为形式化证明评分。在标准化预算下评估七个 LLM Agent 在 HQ-50 子集上的表现，我们发现闭卷式重新发现十分罕见，40 个已解决问题中最多只有 7 个被重新发现；而实时联网的成功主要反映的是对已发表解答的检索。通过将广泛的研究问题语料库与一个具有正式评分标准、解答有据可查的评估子集相连接，OpenFrontiers 为衡量研究级重新发现、研究当前开放科学问题的求解进展提供了基础。数据集与基准可在该 URL 找到。
主题：人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）
引用格式：arXiv:2610.37739 [cs.AI]（或 arXiv:2610.37739v1 [cs.AI] 表示本版本）
https://doi.org/10.48550/arXiv.2610.37739
提交历史#
来自：Jiarui Yao
- [v1] 2026 年 10 月 27 日 星期二 16:49:33 UTC（137 KB）