ThinkJev：一次思考适配所有预算的校准类型化决策
本文目录
作者：Xiaolu Ding、Kai Yang、Dongdong Liu
arXiv：2610.37732（cs） · 提交于 2026 年 10 月 27 日
摘要#
语言模型的许多用途最终都归结为类型化决策（typed decision）：在封闭的选项集合中做出选择，而其概率可被代码用来采取行动。从一次前向传播（forward pass）中读取这些概率速度很快，但对于需要多步推理的决策——例如算术、计数和日期比较——往往并不可靠。先让模型思考可以修正其中大部分错误，但每个决策的代价从毫秒级变成秒级。为了只在真正有帮助的地方付出思考成本，ThinkJev 基于同一个开放的混合思考模型（hybrid-thinking model）构建了快速系统和慢速系统；该模型既可直接回答，也可在思考后回答。系统 1（System 1）在模型直接回答时读取各选项字母对应的概率；系统 2（System 2）在模型针对同一缓存提示进行思考后，读取相同的字母，因此升级到系统 2 不会重复任何工作，两个系统也都在相同选项上给出概率。由于这些字母可以在任意数量的思考 token 之后读取，一次采样得到的思考也能给出任意思考预算下的答案。无需训练，ThinkJev 只在带标签的开发数据上的统计检验保证其接受的答案保持在目标错误率以下时，才让系统 1 单独作答。在 5% 的目标下，Qwen3.5-27B 以这种方式回答了 8359 个测试决策中的 24.5%，实际错误率为 3.9%（Qwen3.5-4B 和 9B：6.5% 和 0.0%）。对于其余决策，一旦答案置信就停止每次思考，可达到 81.6% 的准确率，而始终思考为 82.7%，且只用了 72% 的思考 token。仅根据系统 1 的置信度来决定何时思考，节省更少，因为系统 1 最不确定的决策往往并不是思考能够修正的决策。在类型化决策服务的独立基准 JevBench 的公开项目上，Qwen3.5-27B 对 29.4% 的项目进行了思考，其准确率与所列出的两个思考 API 无法区分（探索性）。代码和数据生成器可在该 URL 获取。
论文信息#
- 注释：31 页，7 幅图，10 张表
- 主题：人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）
- 引用格式：arXiv:2610.37732 [cs.AI]
- DOI：https://doi.org/10.48550/arXiv.2610.37732
提交历史#
- 提交者：Xiaolu Ding
- [v1] 2026 年 10 月 27 日星期二 12:53:04 UTC（612 KB）