XYBench：帮助解决问题背后的问题
本文目录
📄 论文 | 🤗 数据 | 💻 代码
真正有用的 AI 助手需要能帮助提出错误问题的用户——而不仅仅是那些问题正确、细节充分的用户。我们发布 XYBench，一个包含 8,000 多个问题的基准，用于测试 AI 助手如何回应用户基于错误认识提出的请求，例如询问如何让总是从纸杯蛋糕上滑落的糖霜变稠，而真正的问题是纸杯蛋糕还太热、根本无法裱花。XYBench 在 EMNLP 2026 上获得了最佳资源论文奖。
一个人询问的方法与其想达成的目标不匹配，这被称为 XY 问题：一个人想要完成 X，却假定某种方法 Y 会奏效，并寻求关于 Y 的帮助。在纸杯蛋糕的例子中，这个人太执着于让糖霜粘住，以至于没有考虑到纸杯蛋糕的温度才是真正需要解决的问题。
XYBench 与卡内基梅隆大学、NVIDIA 和约翰斯·霍普金斯大学的研究人员共同开发，揭示了 LLM 在排查问题能力上的关键缺口：识别用户请求是否基于隐含的错误认识，并恰当地将其引导向真正解决其目标的方案。我们从编程以及烹饪、家居维修等日常活动中的 8,115 个真实问题出发，提出一个基准，衡量模型是否能识别这些错误认识，并在回答中优先给出有效解决方案。
我们在 XYBench 上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro——常常为用户的问题给出解决方案，但回答仍聚焦于原本错误的方法。与人类参考答案不同，五个模型都更不倾向于让用户放弃该方法、转向适合其目标的方案。
人们以不同知识水平使用 AI 系统，可能并不总是知道如何最好地处理问题。我们希望 XYBench 能帮助研究人员衡量：模型改进是否让助手更善于识别错误假设、解释某个提议方法为何可能行不通，并建议更有效的替代方案——即使用户并不知道该问什么。
构建 XYBench#
我们从四个来源构建 XYBench：来自 Stack Overflow 的 1,557 个问题、来自 Stack Exchange 的 184 个、102 个人工整理示例，以及从 WikiHow 指南生成的 6,272 个问题。对每个问题，我们识别出明示请求（Y），即人们明确要求的东西，以及意图请求（X）——可从上下文推断的底层目标。
对于公共论坛问题，我们使用得分最高的三个回答和（若有）被采纳的回答来确定意图请求和可能的解决方案。我们过滤掉了那些回答明示请求即被视为足够的情况。对于 WikiHow，我们使用 Sonnet 4.5 围绕过程性指南中看似合理的错误认识生成问题，然后精炼问题，使其包含足够上下文，让专家能在不明说的情况下推断底层目标。我们移除了那些回答字面请求即可基本解决问题的示例。
评估回答有何帮助#
模型可能用好几段推荐一台功率更大的吸尘器，然后简短建议检查软管是否堵塞。如果吸力弱是由堵塞造成的，清理堵塞就能解决问题。
更有帮助的回答会认识到用户想恢复吸力，并聚焦于诊断原因。这涉及语用学（pragmatics）——语言学中研究上下文和交际意图如何塑造意义的分支。为检验模型是否在回答中运用这种理解，XYBench 衡量每个回答的三个方面：
- 语用解决方案——记录模型回答是否包含对明示请求（Y）和意图请求（X）的解决方案，分别检查。
- 语用侧重——衡量模型回答是侧重明示请求（Y）、侧重意图请求（X），还是二者兼顾。
- 错误认识识别——衡量模型回答是否将用户引向底层目标（X），同时劝阻或避免错误的方法（Y）。
在 XYBench 中，Claude Sonnet 4.5 担任自动评判员。它分类模型回答中的每条建议，并评估答案的语用侧重。
为验证 Sonnet 4.5 的判断，两名人工评审独立评估了 500 个模型对 XYBench 问题的回答。评审员对评判员的平均一致率：是否出现解决方案为 97.5%–100%，错误认识识别为 84.6%–93.3%，语用侧重为 74.2%–79.8%。
实验展示了什么#
我们在单轮设置下于 XYBench 评估 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro，每个问题一个回答。我们使用相同指标单独评估人类参考答案。
在所有四个来源中，每个模型更可能包含对明示请求（Y）的解决方案，而非底层目标（X）。在 Stack Overflow 上，明示请求的解决方案出现在 75%–86% 的回答中，而底层目标的解决方案为 59%–71%。
解决方案被顺带提及并不等于它是回答的重点。在吸尘器例子中，模型可能简短建议疏通软管，但把大部分回答集中在购买功率更大的吸尘器上。我们会把该回答计为包含底层目标的解决方案，尽管模型侧重的是明示请求。我们单独衡量整体侧重：在 Stack Overflow 上，模型仅在 35%–41% 的回答中主要聚焦底层目标，47%–57% 聚焦明示请求。其余回答中，模型对明示请求和底层目标给予相似侧重。
我们还测试了明确告知用户目标是否有帮助。在一项“神谕”（oracle）实验中，我们在每个问题旁同时提供明示请求（Y）和意图请求（X）。在 Stack Overflow 上，Sonnet 4.6 包含底层目标解决方案的比例从 59% 升至 67%，但其错误认识识别率从 47% 降至 34%。在有参考答案的来源中，该实验中每个模型在错误认识识别上仍落后于人类。提供意图有帮助，但并未持续缩小与人类回答的差距。这表明检测意图只是挑战的一部分：当意图与明示请求不一致时，模型还需要据此行动。
另一项单独实验测试模型在评判回答（而非撰写回答）时能否识别有用建议。我们给同样五个模型外加 GPT-4.1 提供每个问题和两个可能答案：一个聚焦字面请求，另一个解释错误认识并处理底层目标。在 Stack Overflow 上，六个模型在 71%–84% 的情况下选择了聚焦目标的答案。相比之下，在我们主评估中五个模型撰写的答案只有 35%–41% 主要聚焦底层目标。结果揭示了“识别有用建议”与“产出有用建议”之间的差距，而仅靠多项选择题测试会错过这一点。
这对评估意味着什么#
研究人员可以使用 XYBench 测试提示词或训练的变化是否帮助模型识别错误认识、为用户底层问题提供解决方案，并让这些方案成为回答重点。分别衡量每种行为，可以让研究人员看出某一方面的进展是否也改善了其他方面。
未来工作可以测试哪些训练方法能帮助模型依据推断出的意图行动——也就是用户需要什么，而不仅仅他们字面上问什么。XYBench 目前覆盖英语查询且主要是过程性问题；扩展到其他语言、文化和对话场景仍是开放方向。
我们希望 XYBench 能让研究人员构建出即使用户的第一个问题基于错误假设也能提供有用建议的模型。
本文提及的数据集 1 个
该作者的更多文章#
ToyBlocks：用于机器人学习与评估的受控世界
26 2026 年 11 月 6 日
StateBench：测试语言模型如何在长文档中跟踪状态变化
17 2026 年 11 月 3 日