置信度门控分层 LLM 推理的可行性条件
本文目录
arXiv:2611.05394 (cs)
[Submitted on 15 Sep 2026]
作者：Sumit P. Ahuja
摘要#
分层推理（tiered inference）把大语言模型的计算分布到从端侧、边缘硬件到数据中心的设备层级上，并越来越被视为实现更便宜、更低延迟、更私密服务的途径。大多数此类系统编排的是冻结的模型检查点，并且大多数系统使用前向部署模型产生的置信度信号，来决定哪些在本地解决、哪些上报（escalate）。我们给出了一个闭式条件，说明在何种情况下，无论对该信号采用何种阈值，分层级联（tiered cascade）都不值得相对于把所有查询都发送到兜底端（backstop）的做法。我们把路由决策建模为二元检验，并通过架构成本比 $\kappa$ 把本地成本与上报成本区分开，推导出一个可行性条件，其上下界分别是无信号下限（signal-free floor）和完美信号上限（perfect-signal ceiling）：低于下限时，级联在任何信号质量下都可行；高于上限时，任何信号质量下都不可行。沿 $\kappa$ 轴来看，该条件会反转：在本地计算需要付费的场景中，成本起决定作用，这与近期的一项实证发现一致；在本地计算属于沉没成本的去中心化硬件上，可行性变成无条件的，而信号质量反而决定了级联能达成什么。我们把这个条件转化为三项设计要求，而现有已训练的内置原语（trained-in primitives）只能孤立地满足它们；作为未来工作，我们提出一种协同设计的架构和一个用于检验它的协议。该条件及其反转独立于该架构成立；它们就是本文的贡献。
评论：21 页，2 幅图
主题：人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；性能（cs.PF）
引用：arXiv:2611.05394 [cs.AI]（或 arXiv:2611.05394v1 [cs.AI] 引自本版本）
https://doi.org/10.48550/arXiv.2611.05394
提交历史#
来自：Sumit Ahuja [查看电子邮件]
- [v1] Tue, 15 Sep 2026 00:38:01 UTC (232 KB)