arXiv cs.AIAI 领域最新发展约 2 分钟719 字
TopicScope：用稀疏自编码器进行主题监控
本文目录
在预填充阶段训练，在解码阶段监控：使用稀疏自编码器进行主题监控#
作者：Rishikesh Mallagundla、Pranav Patel
arXiv：2611.12935 [cs.AI]
提交时间：2026 年 11 月 6 日
摘要#
主题监控（topic monitoring）是在生成过程中为模型回复中的每个词元标注主题的任务。迄今为止，在生成时运行的基于激活的监控器一直被训练用于检测有害内容，且仅限于两到三个类别。我们推出 TopicScope，一个在 SAE（稀疏自编码器）特征上训练因果主题分类器的框架，为每个词元分配一个主题，使标签能够在回复中途发生变化。我们针对覆盖七个主题的合成多主题对话训练了三种检测器架构。在 Gemma-3 1B 和 4B 上，使用从预填充隐藏状态提取的特征训练的监控器能够泛化到解码阶段。我们还发现，分类器对扰动具有稳健性：在插入离题内容、移除主题或重排章节时，最多只损失 5 个 macro-F1 分数点。为理解 SAE 贡献而进行的消融实验表明，在没有 SAE 的情况下达到基线性能的分类器要大好几倍。我们的发现表明，紧凑的主题监控器可以在预填充阶段以低成本训练，并在生成期间部署。更广泛地说，我们的工作展示了 SAE 在安全分类之外的有用之处。我们的代码、数据集和检查点可在原文给出的两个链接获取。
评论：22 页
主题：人工智能（cs.AI）；机器学习（cs.LG）
引用格式：arXiv:2611.12935 [cs.AI]
DOI：https://doi.org/10.48550/arXiv.2611.12935
提交历史#
- [v1] 2026 年 11 月 6 日（周五）11:33:35 UTC（678 KB）