规则越多，清单越长？在隐藏规则课程上评测自我进化智能体

计算机科学 > 人工智能

arXiv:2610.40758 (cs)

[提交于 2026年10月29日]

标题：规则越多，清单越长？在隐藏规则课程上评测自我进化智能体

作者：Chenjie Qiu、Boyan Xu、Shaobin Shi、Bingfeng Chen、Ruichu Cai、Dongsheng Luo

查看由 Chenjie Qiu 和另外 5 位作者撰写的、题为《规则越多，清单越长？在隐藏规则课程上评测自我进化智能体》的论文 PDF

查看 PDF HTML（实验性）

摘要：自我进化智能体（self-evolving agents）会依据反馈重写一个持久状态，但这能否让它们学会一条没人告诉过它们的规则，在很大程度上仍未得到检验。智能体也可能通过把每次纠正记成一条例外而通过测试，于是它的清单会随着每条新规则而增长。我们提出 CLR-Bench，一个潜在规则课程（Curriculum of Latent Rules）基准。每条链在每一级都在先前规则之上增加一条隐藏规则。规则作用于一个不透明标签，该标签代表一个发布在 Web 上的具名分组，例如某个航空联盟的创始成员。任务给出一个示例值，练习反馈再揭示一个成员和一个非成员，测试则检查未见过的成员和相似的非成员。探针验证基础模型知道每个分组的成员，且在没有反馈时不会猜测，并验证一旦将标签解读为具名分组，证据就能识别该分组。一条自动化流水线从新的数据领域构建链，我们发布了覆盖 10 个领域的 20 条链。我们评估了六种近期的自我进化方法。在使用认证模型（certifying model）时，它们几乎学不到东西。最佳方法最多比冻结智能体高 5 分，并且只把 6-12% 的未见成员排除在计数之外，低于仅保留原始练习历史所达到的 20%。一条说明具名分组约定的固定课程使相同方法提升 14.5 到 16.5 分。它们的状态在 75-98% 的情况下保存了被揭示的成员，几乎从不保存类名；当练习暴露了一个清单遗漏的成员时，它们会将该成员加入清单。在更强的 GPT-6-Sol 下，ACE 和 Dynamic Cheatsheet 仅凭反馈就能学习。它们达到 78% 的准确率，并解决了 59-60% 的单个单元，而在认证模型下分别为 53% 和 8%，且它们超过了原始历史。因此，CLR-Bench 衡量的是智能体学习得有多好，而这种能力因模型而异。

评论： 13 页，8 幅图，11 张表

主题： 人工智能（cs.AI）

引用为： arXiv:2610.40758 [cs.AI]

（或本版本 arXiv:2610.40758v1 [cs.AI]）

https://doi.org/10.48550/arXiv.2610.40758

聚焦以了解更多

arXiv 通过 DataCite 发放的 DOI（注册待定）

提交历史 来自：Chenjie Qiu [查看电子邮件]

[v1] 2026年10月29日星期四 17:00:10 UTC（291 KB）

全文链接：

访问论文：

查看由 Chenjie Qiu 和另外 5 位作者撰写的、题为《规则越多，清单越长？在隐藏规则课程上评测自我进化智能体》的论文 PDF

查看 PDF

HTML（实验性）

TeX 源码

查看许可证