追踪大语言模型中的心理测量推断
本文目录
作者：Chih-Hao Hsu、Feng-Chun B. Chou、Pin-Hao A. Chen
arXiv：2611.12937 [cs.AI]
提交时间：2026 年 11 月 6 日
摘要#
大语言模型是在内部表示心理构念，还是仅仅生成看起来像心理测量结构的输出？我们使用跨人格（cross-persona）范式来回答这个问题，覆盖来自两个家族（Llama 3 和 Qwen 2.5，0.5B–14B，基座版和指令版）的 14 个模型变体。给定真实个体（N = 272 名台湾大学生）在一项心理量表上的回答，模型预测他们在另外六项量表上的回答。在行为层面，较大的变体复现并放大了人类的跨量表相关性；在针对测量衰减校正七项量表的人类相关性后，这种放大仍然存在。随后我们检验这种结构是否在内部得到反映。对比方向分析发现，在较大的指令版变体中，几何结构与人类矩阵对齐，但在该检测方法下，基座版变体几乎没有对齐。跨模型来看，几何强度与行为放大相关（r = 0.68，p = 0.008；控制对数规模后的偏相关 r = 0.69）。为将内部结构与输出行为联系起来，一项匹配的激活探测范式显示，探测斜率的变化小于行为斜率（1.38–1.77 对 0.52–1.53）。一项合成对照表明，岭回归探测可能夸大这些斜率；在减去基于另一项分析中可靠性代理变量的基线后，校正后的斜率仍与行为相关（r = 0.88）。我们将测得的探测—行为差距称为「读出衰减」（readout attenuation）。这些结果在测试的检测方法下确立了可解码性和几何对齐，但并未表明所测量的方向中介了跨人格回答。
评论：已被 NeurIPS 2026 接收
主题：人工智能（cs.AI）；计算与语言（cs.CL）
引用格式：arXiv:2611.12937 [cs.AI]
DOI：https://doi.org/10.48550/arXiv.2611.12937
提交历史#
- [v1] 2026 年 11 月 6 日（周五）14:29:19 UTC（7,707 KB）