Seq@K：序列反馈下的语言模型评估

作者：Thomson Yen、Gilbert Yang、Naimeng Ye、Minghui Chen、Dong Xia、Tianyi Shen、Yechan Jeon、Yaqin Chen、Daksh Mittal、Fangyu Wu、Hongseok Namkoong

arXiv：2610.37859（cs） · 提交于 2026 年 10 月 27 日

摘要#

语言模型智能体与此前的智能系统有着根本不同：它们能够从上下文中的自然语言里学习。这一能力使智能体可以针对反馈迭代改进答案，而这是现代智能体工作流中一种普遍的操作模式。然而，社区主要以 Pass@1 或 Pass@K 等指标为模型排名，这些指标无法体现模型如何利用先前尝试的反馈。我们提出 Seq@K——一种自然的评估协议，用来衡量模型能否在 K 次连续尝试内解决问题，且每次失败后都会得到反馈。与考察长程规划的多轮智能体基准不同，Seq@K 隔离并形式化了「从反馈中改进」这一核心能力。我们在 7 个基准和 16 个前沿模型上评估 Seq@K，结果表明它揭示出一个实质不同的模型选择格局：在 Seq@K 下，（1）模型排名常常不同，（2）帕累托前沿允许更高效的配置，（3）与 Pass@K 相比，选择最优模型配置所带来的收益可能扩大也可能缩小。我们进一步表明，分析 Seq@K 下的模型轨迹有助于刻画迭代改进行为，例如模型处理反馈中所提问题的速率，或它们坚持自己答案的顽固程度。最后，我们研究反馈的性质如何影响模型的迭代改进，表明实践者必须仔细设计并基准测试迭代式智能体系统的反馈回路。这些结果共同确立了 Seq@K 如何为通常在此类反馈回路中运行的智能系统提供更忠实的指标，以及在为这些系统评估模型时考虑 Seq@K 的必要性。

论文信息#

• 主题：人工智能（cs.AI）
• 引用格式：arXiv:2610.37859 [cs.AI]
• DOI：https://doi.org/10.48550/arXiv.2610.37859

提交历史#

• 提交者：Thomson Yen
• [v1] 2026 年 10 月 27 日星期二 19:04:51 UTC（595 KB）