面向音频大语言模型的多模态语音情感识别不一致性评估
本文目录
arXiv:2610.40883（cs）
提交于 2026 年 10 月 29 日
标题： 面向音频大语言模型的多模态语音情感识别不一致性评估（Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models）
作者： Fengji Jing、Guy Laban
摘要#
语音交互式大语言模型既处理说话者说了什么，也处理他们是怎么说的，然而这两个通道并不总是一致。我们追问这种不一致是否会降低语音情感识别的表现。通过将文本和音频映射到一个共享的效价-唤醒-支配（valence-arousal-dominance）空间，我们使用双组分高斯混合模型将二者之间的距离转换为一个连续的、无阈值的不一致性分数（incongruence score），并用人类判断对该分数进行验证。我们在表演式、对话式和自发语音（eNTERFACE'05、MELD 和 CMU-MOSEI）上评估了三个具备音频能力的模型。在跨模态保持模型不变的情况下，只要音频存在，不一致性就会提高出错的几率，并且在控制真实情感标签和特征空间距离之后，这一现象在每个语料库中都成立。用相同特征训练的监督分类器表现出相反的行为，这表明困难在于这些模型如何组合原始证据，而不是信号本身。纯文本效应并不可靠：仅更换读取转录文本的模型，就会在一个语料库上使其符号反转。在不使用情感词典的情况下重建该分数，可以复现核心结果，并且在六个更简单的替代方案中，它是唯一一个在三个语料库中都能预测错误的无标签分数。代码、数据表和提示词均已发布。
主题#
人工智能（cs.AI）；计算与语言（cs.CL）；多媒体（cs.MM）；声音（cs.SD）；音频与语音处理（eess.AS）
引用格式#
引用为：arXiv:2610.40883 [cs.AI]
（或本版本的 arXiv:2610.40883v1 [cs.AI]）
https://doi.org/10.48550/arXiv.2610.40883
arXiv 通过 DataCite 发放的 DOI（注册待完成）
提交历史#
来自：Guy Laban [查看电子邮件]
- [v1] 2026 年 10 月 29 日星期四 19:04:50 UTC（434 KB）