MARQ：一个融合系统工程知识的模块化、与 LLM 无关的需求质量评估器
本文目录
arXiv:2610.36234（cs.AI）
[提交于 2026 年 10 月 26 日]
标题：MARQ：一个融合系统工程知识的模块化、与 LLM 无关的需求质量评估器
作者：Jannatul Shefa、Alejandro Salado、Paul Wach、Taylan G. Topcu
摘要#
需求工程（requirements engineering，RE）是系统工程（systems engineering，SE）的基础，因为需求缺陷会向下游传播并对开发结果产生不利影响。尽管大语言模型（LLM）在需求质量评估方面颇具前景，但已有工作表明，现成模型会漏掉很大一部分由专家识别出的缺陷，在不同质量准则上表现不均，并且多次执行之间结果波动。本研究探究：注入源自专家的系统工程知识，能否让基于 LLM 的需求质量评估超越现成模型的能力。我们提出了 MARQ——一个模块化、与 LLM 无关的原型，它为 LLM 补充一套按准则定制的知识栈（knowledge stack），将 INCOSE 需求质量准则操作化，并在一个由专家标注的 NASA 需求集上，使用 Claude Opus 5、GPT-5.6 Sol 与开放权重模型 Gemma 3 12B 与现成基线进行比较，每个模型执行 100 次。MARQ 取得的中位 F1 分数为：Claude Opus 5 0.80、GPT-5.6 Sol 0.62、Gemma 3 12B 0.53，而现成基线分别为 0.55、0.52 与 0.18。然而，这些提升的性质因模型而异：Claude Opus 5 同时改善了缺陷检测与误报控制；GPT-5.6 Sol 提升了检测能力与执行级一致性，代价是更多误报；Gemma 3 12B 达到了现成专有模型的水平，尽管仍存在高度波动。准则层面的分析显示，提升集中在正确性（Correctness）与符合性（Conformance）上，单个准则内部存在漏检与误报之间的权衡，且若干准则上的表现因模型而异。这些发现把系统工程知识的注入，定位为一条有前景、与模型无关的路径，用以强化可信的、基于 LLM 的需求工程支持；同时也强调了按准则定制干预措施以及人在回路（human-in-the-loop）评审的必要性。
主题：人工智能（cs.AI）；软件工程（cs.SE）
引用格式：arXiv:2610.36234 [cs.AI]（或 arXiv:2610.36234v1 [cs.AI] 表示本版本）
https://doi.org/10.48550/arXiv.2610.36234
提交历史#
来自：Jannatul Shefa
- [v1] 2026 年 10 月 26 日 星期一 20:12:11 UTC（1,722 KB）