别急着选赢家：知识冲突需要一个先验，而不是一条规则
本文目录
arXiv:2610.36169（cs.AI）
[提交于 2026 年 10 月 26 日]
标题：别急着选赢家：知识冲突需要一个先验，而不是一条规则
作者：Minh Pham Van、Cong Tran
摘要#
检索增强的语言模型（retrieval-augmented language model）从两个来源作答：检索到的上下文与模型自身的知识；只要上下文不完整或出错，两者就会发生分歧。现有方法用一条在设计时固定的规则来化解这一分歧：要么跟随上下文，要么按上下文偏离模型的程度对其加权放大，要么相信模型记忆。每一条规则都会在某些部署场景中「自信地犯错」。在一个针对双来源的决策论模型（decision-theoretic model）中，任何固定规则的得分都与「可靠上下文所占比例」成线性关系，而可达到的最优得分是凸的，因此每一条固定规则只要不恰好落在最优点上，就会被击败；此外，两个来源之间的对称性散度（symmetric divergence）——自适应解码（adaptive decoding）所使用的信号——并不携带任何关于哪一方正确的信息。因此，解决冲突需要两个现有方法都没有保留的输入：分别针对每个来源的证据，以及关于「上下文正确的频率」的先验（prior）。我们在 GRACE 上检验了这些主张——该基准对固定问题的知识图谱上下文进行干预，从而把模型所知、上下文所说与事实真相三者分开测量。在该基准上，来自四个方法族的每一种基线，要么在上下文正确时表现强，要么在上下文错误时表现强，从未两者皆强。随后我们构建了这两个输入：模型以笔记的形式陈述自己的知识，一个小型策略以校准后的置信度为每条笔记「发声」，一个阅读器以两种「声音」作答，再由一个选择器在先验 $\pi$ 之下作出承诺或弃权（abstain），该先验以精确的先验偏移（exact prior shift）形式施加。当 $\pi$ 被设为上下文的真实正确比例时，该系统在 GRACE 的每一种上下文混合比例下都优于最佳基线，最高领先 26 个百分点。其总体得分为 45.3 与 35.0（Qwen3.5-35B-A3B、Llama-3.1-8B），而最佳基线为 29.4 与 27.5。在预注册的 ClashEval 上，它比同骨干的 CK-PLUG 与 TCR 分别高出 12 与 26 个百分点。而在模型缺少相应知识的地方，这些收益会消失，正如理论所预测的那样。
注释：49 页（9 页正文 + 附录与补充材料），14 幅图。
主题：人工智能（cs.AI）；计算与语言（cs.CL）
引用格式：arXiv:2610.36169 [cs.AI]（或 arXiv:2610.36169v1 [cs.AI] 表示本版本）
https://doi.org/10.48550/arXiv.2610.36169
提交历史#
来自：Minh Pham Van
- [v1] 2026 年 10 月 26 日 星期一 19:03:29 UTC（440 KB）