Heidi Labs
arXiv cs.AIAI 领域最新发展约 3 分钟1,110 字

数绷带:论如何衡量 AI 节省的时间

本文目录

arXiv:2610.35942(cs.AI)

[提交于 2026 年 10 月 23 日]

作者:Solomon Shalom Lijo

摘要#

我思考"AI 辅助节省时间"到底意味着什么。我把"秒表视角"与"账本视角"相对照:前者认为节省的时间就是钟表记录下的时长;后者认为它是个反事实量,必须与这项工作放过的错误并列阅读。我主张后者。这一论证分为四个部分。

第一,我定义了一对不依赖模型的量——节省的时间(time saved)与逃逸的额外缺陷(excess escaped defects)——以及由它们构成的一个决策数字:盈亏平衡的缺陷成本(break-even defect cost)。

第二,我给出一个检查行为的基础模型。在该模型中,只要模型还没有好到不必检查,一个校准良好的工作者的缺陷逃逸率就不取决于模型有多好;检查时间随模型错误率的对数增长;而过度信任可以换来钟表上的几分钟,却以更大的总分钟数付出代价。

第三,我说明随机对照研究能识别什么、不能识别什么,并用 METR 的开发者研究的公开数据复现该研究:同一批 246 个议题,按不同的估计目标可以支持 19% 或 24% 的变慢(若不校正一次偶然的不平衡则为 34%),而 AI 在其中约 3% 到 82% 的议题上提供了帮助。

第四,我以明确的上下界取代外部导入的点估计,重述已发表的记录。在 GDPval 自身的"审查每一份输出"工作流中,仅审查时间就把 GPT-5 的加速比上限压在 3.6 倍;前沿之外的咨询顾问更快,也更常出错。

最后,我在一个小规模、预先设定的实验中检验该模型的两项预测,实验内容是 AI 审阅者核对 AI 起草的同类简报,简报根据模型训练数据收集之后提交的 SEC 文件构建。当被告知起草者的真实错误率时,审阅者会随错误率上升而检查更多,但是全有或全无式的,切换点大致在其提示词成本的盈亏平衡处。当被告知起草者的出错频率比实际低十倍时,它在 9 个数字中少检查了 7 个,并在 22.5% 的简报中放过了一个错误数字,而不是一个都没放过:更快也更差,完全是通过减少投入实现的。

注释:18 页,2 幅图。该文取代作者此前的 TSB 提案(SSRN 6682338)。代码与数据见原文链接,亦存档于 Zenodo:https://doi.org/10.5281/zenodo.23557773

主题:人工智能(cs.AI)

引用格式:arXiv:2610.35942 [cs.AI](或 arXiv:2610.35942v1 [cs.AI] 表示本版本)

https://doi.org/10.48550/arXiv.2610.35942

提交历史#

来自:Solomon Shalom Lijo

  • [v1] 2026 年 10 月 23 日 星期五 15:34:36 UTC(56 KB)