CWE-bench v2：更高的覆盖度、质量与透明度

发布于 2026 年 11 月 3 日

作者：Gonzalo Gonzalez（chalo2000）、Ajay Jagannath（ajayjagan2511）、Nazneen Rajani（nazneen）、Nathan Habib（SaylorTwift），均来自 Collinear AI。

CWE-bench 旨在检验前沿网络能力的极限。在 Collinear AI 持续推动边界的努力中，CWE-bench v2 公开了一套包含 100 个任务的集合，任何人都可以运行它并在其上评估自己的模型。设置与之前相同：智能体获得一个真实开源代码仓库的检出副本和一段简短指令，目标是在不破坏现有功能的前提下发现并修复一个安全弱点。评分完全程序化，因此结果是确定性的，任何人都可以零额外成本复现。我们所有的程序化检查都在 LLM 评审小组的帮助下进行了策展，使其朝向困难与公平的方向。我们还维护了一套留出集（held-out set），以便持续跟踪模型从未见过的任务上的进展。要在留出集上评估你的模型，请联系 cyber@collinear.ai。

我们的目标是做到穷尽。防御者必须预判攻击者可能进入的方式，并且每一次都要判断正确。这 100 个任务覆盖 91 种不同的 CWE（Common Weakness Enumeration，通用弱点枚举），横跨广泛的漏洞类别。在此表现良好的模型必须理解潜在攻击者可能利用的多个弱点面。仅仅识别熟悉的模式是不够的。

作为我们持续改进质量之细致努力的一部分，我们对每个任务都检查了以下问题是否成立：

• 指令读起来是否像真实的指令，而非评测设定？
• 每一个被评分的行为是否都能从指令中推断出来？
• 验证器检查的是正确行为，而不是某一个修复方案的特定结构？
• 起始代码是否会失败、参考修复是否会通过？
• 应用新修复后，原有功能是否仍然可用？
• 验证器是否会让记忆化的解法（例如已知的上游补丁）失败？

每个任务也都经过了人工审查。将集合开源是同一项提升质量努力的一部分。我们欢迎对任何任务提出反馈，也欢迎向公开集贡献。

结果#

结果在 Hub 上的两个地方跟踪。CWE-bench 数据集页面上的排行榜覆盖开放权重模型，并会自动更新：实验室和社区通过在模型仓库上提交包含结果文件的 PR 来添加结果（方法见此）。若要查看完整对比，包括 Gemini、Claude 和 GPT 等仅提供 API 的模型，请见 CWE-bench 排行榜 Space，新模型通过向该 Space 提交 PR 加入。

来自数据集页面的开放权重模型：

所有已评估模型，包括仅 API 模型：

在已评估的 11 个模型中，Gemini 4 Argon 以 67.8% 的 pass@1 和 81.0% 的 pass@4 领先，紧随其后的是 Claude Opus 5.5（67.3% pass@1，78.0% pass@4）。有 95 个任务被至少一个模型解决，这表明这些任务确实可解。然而，即便领先者在每一次尝试中也会在 19% 的集合上失败，因此长尾远未解决。公开集、评分器和运行框架均为开放。运行你的模型，告诉我们它的位置。

在成本方面，DeepSeek V4.1 Flash（1017）、Claude Opus 5.5 和 Gemini 4 Argon 构成了帕累托前沿（Pareto frontier）：DeepSeek 在每次 rollout 0.04 美元的成本下达到 57.0% pass@1，Opus 多花 1.83 美元提升十个点，Gemini 则以 3.92 美元略胜一筹。

从 Hub 运行#

每个任务都是一个自包含的 Harbor 任务（Docker 化环境、一条指令和一个确定性验证器），数据集还附带一个 registry.json。因此 Harbor 可以直接从 Hugging Face 仓库运行整个基准测试，而无需自行克隆任何内容：

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

-k 4 表示每个任务运行 4 次尝试，报告的分数是全部 400 次试验的平均奖励。该数据集设有门控：请先在数据集页面接受其访问条件。Harbor 通过 git 获取任务，因此还需将你的 HF token 保存到 git 的凭据辅助程序一次：

hf auth login --token $HF_TOKEN --add-to-git-credential

这些任务还带有 rl-environment 标签：相同的环境和验证器可以为训练防御性智能体提供奖励，而不仅用于评估它们。