计算机科学 > 人工智能

arXiv:2610.40890（cs）

[2026 年 10 月 29 日提交]

标题：ChatGPT 是监控助手吗？AI 辅助监控风险的探索性案例研究#

作者： Ayana Hussain、Nicholas Vincent

查看由 Ayana Hussain 和 Nicholas Vincent 撰写的题为《ChatGPT 是监控助手吗？AI 辅助监控风险的探索性案例研究》的论文 PDF

查看 PDF HTML（实验性）

摘要#

大语言模型（Large Language Model, LLM）能够大规模生成详细指导、可运行的代码和有说服力的文本。作为截至 2026 年使用最广泛的消费级语言模型产品之一，ChatGPT 让公众能够广泛获取这些能力，这引发了人们对其可能被用于监控相关任务的担忧。我们呈现了一项探索性案例研究，考察在 ChatGPT 的公开网页界面中，具有潜在危害的监控协助是什么样的。基于以往的 LLM 风险研究以及对已部署监控系统的报道，我们贡献了一个包含七类监控风险类别的分类体系，并将其实例化为 110 条提示（prompts），同时对 ChatGPT 的回复进行了人工审查分析。提示通过两种方式发出：55 条越狱（jailbreak）提示，借鉴了五类诱导策略；以及 55 条平实语言直接提示，每条先单独运行，若不成功，则再加上一个简短的固定前缀再次运行。我们发现，ChatGPT 对 55 条越狱提示中的 40 条、以及 55 条直接提示中的 33 条（未加任何前缀）提供了实质性的监控指导。配合的回复也很少包含政策提及或隐私保护替代方案的建议。我们人工审查了每一条回复，发现即使 ChatGPT 声明拒绝，它仍可能在简短的伦理告诫之外，同时提供详细的操作说明、可运行的代码或架构指导。

主题#

人工智能（cs.AI）

引用格式#

arXiv:2610.40890 [cs.AI]

（或本版本的 arXiv:2610.40890v1 [cs.AI]）

https://doi.org/10.48550/arXiv.2610.40890

DOI 由 DataCite 经 arXiv 发放（注册待完成）

提交历史#

来自：Ayana Hussain [查看邮件]

[v1] 2026 年 10 月 29 日星期四 19:10:04 UTC（1,201 KB）