Heidi Labs
arXiv cs.AIAI 领域最新发展约 3 分钟1,166 字

超越看似合理的预测:网页世界模型中的安全充分性

计算机科学 > 人工智能

arXiv:2610.40798(cs)

[提交于 2026 年 10 月 29 日]

标题: 超越看似合理的预测:网页世界模型中的安全充分性

作者: Zhifei Hu、Alexandra I. Cristea、Adel Bibi、Jialin Yu

摘要: 网页世界模型(Web world models)越来越多地在智能体(agent)行动之前预测候选动作的后果,然而一个看似合理的预测未来并不必然支持正确的安全决策。在对来自十个冻结的开源模型的 3,000 条预测所进行的匹配人类评估中,86.1% 被判定为语义上看似合理。然而,若干模型表现出高度不对称的授权行为:它们既保持较低的“错误放行执行”(false-safe execution),又在可澄清的 ASK 情形上召回率很差,并强烈偏好 BLOCK。这引出了安全充分性(safety sufficiency)的问题:预测接口是否保留并暴露了策略决定性信息,从而足以区分哪些动作可以执行(EXECUTE)、哪些需要通过 ASK 澄清、哪些应当阻止(BLOCK)。我们提出 SafeWebWorld,这是一个通过动作条件化未来、策略决定性证据和策略条件化决策,在五个网页安全领域评估安全充分性的基准。在受控的安全对齐监督微调(Security-Aligned Supervised Fine-Tuning)协议下,证据保留可以显著改善,而授权敏感决策却会退化。为确定这种退化反映的是授权敏感评分结构的丢失,还是决策读出(decision readout)的失败,我们引入潜在授权恢复(Latent Authorisation Recovery,LAR)。冻结分数重校准揭示出可观但依赖骨干(backbone)的恢复,而成对恢复只带来适度的额外增益。然而,同族内(within-family)和匹配授权(matched-authorisation)评估仍然表现不佳,表明总体可恢复性并不意味着稳健的细粒度授权行为。总体而言,看似合理的预测、证据保留和总体恢复,各自都不足以建立稳健的授权。

主题:

人工智能(cs.AI)

引用格式:

arXiv:2610.40798 [cs.AI]

(或本版本 arXiv:2610.40798v1 [cs.AI])

https://doi.org/10.48550/arXiv.2610.40798

由 DataCite 发放的 arXiv DOI(待注册)

提交历史

来自:Zhifei Hu [查看电子邮件]

[v1] 2026 年 10 月 29 日(周四)18:00:55 UTC(678 KB)

全文链接:

获取论文:

查看标题为《超越看似合理的预测:网页世界模型中的安全充分性》的论文 PDF,作者为 Zhifei Hu、Alexandra I. Cristea、Adel Bibi 和 Jialin Yu

查看 PDF

HTML(实验性)

TeX 源码

查看许可协议