Hugging FaceAI 领域最新发展2026-10-29约 22 分钟8,887 字

欢迎 Le Chonk：Mistral Large 4 登陆 Hugging Face

本文目录

作者：merve、Alvaro Bartolome、Rémi Ouazan Reboul、Cyril Vallez、Quentin Gallouédec、Enrique Hernández Calabrés、Juan Julián、Xuan-Son Nguyen、Pedro Cuenca、ben burtenshaw、Aritra Roy Gosthipaty

发布于 2026 年 10 月 29 日

Mistral Large 4（又名 Le Chonk）是 Mistral 推出的一款多模态、多语言的混合专家（Mixture-of-Experts，MoE）模型。它以文本和图像为输入，生成文本。总参数量约 1T，激活参数量 49B，上下文窗口为 100 万 token。

模型以两种官方变体发布：

FP8
NVFP4

此外还有由 Unsloth 和 llama.cpp 团队制作的 GGUF 版本。它以 Mistral 生态开放权重许可证（Mistral Ecosystem Open-Weight License，一个 MIT 衍生许可证，对"模型即服务"形式的提供设定了限制）分发。

Mistral Large 4 在网络安全、编程智能体和多模态方面尤其强大。本文将介绍这个模型如何工作、具备哪些能力、架构如何，以及更多内容。

目录#

Mistral Large 4 有什么新东西
网络安全能力
架构
视觉编码器
基准测试结果
推理支持
Transformers
vLLM
Llama.cpp
用 TRL 微调
推理端点
Dell 企业中心
上手试用

Mistral Large 4 有什么新东西#

Mistral Large 4 把大规模的专家池与稀疏注意力（sparse attention）以及一个 Pixtral 视觉编码器（vision encoder）结合起来。语言模型为每个 token 挑选一小群专家，而其注意力索引器（attention indexer）则挑选要关注哪些更早的 token 位置。这是两种不同形式的稀疏性：一个选择前馈网络，另一个选择上下文位置。

你可以在 Mistral Large 4 集合中找到所有检查点（checkpoint）。

网络安全能力#

在 Artificial Analysis Cyber Index 测试中，Mistral Large 4 取得 82% 的分数，该测试要求模型复现开源软件中的真实漏洞，然后打补丁修复该软件。据 Mistral 报告，若干闭源前沿模型在同一测试上得分接近零，原因是它们拒绝尝试这项工作。这对防御方极为重要，因为修复漏洞通常需要先复现漏洞。在 Mistral 的内部测试中，Mistral Large 4 在恶意软件分析、漏洞优先级排序和编写检测规则方面也很有用——而这些能力并非模型的显式训练目标。

Mistral 主要将该模型定位为攻防中的防御性安全工作。漏洞研究与事件响应在模型输入中往往看起来像攻击，因此闭源过滤可能会拦截它们。依赖 API 的团队还可能在事件处理过程中突然失去访问权限。关键在于，开放权重模型把使用政策和部署都置于用户掌控之下。话虽如此，模型仍会拒绝有害请求：在 JailbreakBench、StrongREJECT 和 AgentHarm 的网络安全提示上，它的平均拒绝率高于任何其他开放权重模型。

对社区构建者而言，像 Mistral Large 4 这样的开放权重模型释放了大量下游用例。你可以围绕自己的代码库、崩溃日志和恶意软件样本构建自己的网络安全系统。例如，你可以用 TRL，基于 Mistral Large 4 为你的代码库打补丁的轨迹（trace）来微调更小的模型。事实上，"先复现再打补丁"这类任务使用的是可验证奖励（verifiable reward），因此它契合可用于进一步强化学习更小的安全模型的 RL 环境。开放权重还让研究者能够直接测量模型的拒绝行为，而不必依赖提供方的描述。

简而言之，像 ML4 这样公开可用的网络安全能力对整个社区是一大助力。

我们采访了 Pierre Stock，谈论该模型的网络安全能力，你可以在这里观看。

架构#

Mistral Large 4 的文本解码器有 72 层，隐藏维度 6,144，64 个注意力头。其注意力块把多头潜在注意力（Multi-head Latent Attention，MLA）与一个 DeepSeek 稀疏注意力（DeepSeek Sparse Attention，DSA）索引器结合起来（这也是 GLM 5.3 等其他模型采用的方向）。MLA 保持压缩的 KV 表示，而 DSA 为每个查询最多选择 2,048 个键位置。

每个解码器块采用 3:1 的 RoPE 与 NoPE 交替模式，即每 3 个解码层使用 RoPE，每第四个层使用 NoPE。该模型还跨层共享 KV 状态。

第一个解码层使用稠密前馈网络。其余 71 层使用 MoE 块，其中 softmax 路由器为每个 token 从 128 个专家中选择 4 个。始终有一个共享专家与被选中的专家一起运行，因此每个 token 共有 5 个激活专家。

关于 RoPE，Mistral 使用 LeRope——一种 YaRN 缩放的 RoPE，每个频率带有一个可学习乘子。

视觉编码器#

Mistral Large 4 采用一个 1.6B 的 Pixtral 编码器。Pixtral 有 30 层，隐藏维度 2,048，16 个注意力头。它使用 14 × 14 的图像块，以及空间合并大小为 2 的 patch-merge 投影器。你可以在下面看到编码器流水线。

基准测试结果#

Mistral Large 4 在编程、网络安全、多模态理解和智能体工作流方面都取得了强劲的基准表现，使其成为开放权重生态中一个有竞争力的新成员。截至 2026 年 10 月 29 日，该模型在 Artificial Analysis 智能指数（Intelligence index）上位列开放权重模型第五。

在编程方面，ML4 在 DeepSWE v1.1 上取得 61.7%，在 SWE-Atlas-QnA 上取得 59.4%，在 Terminal-Bench 4 上取得 28.3%。其综合编程智能体指数（Coding Agent Index）得分 49.8%，领先于 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。

ML4 的编程能力也延伸到知识工作：在评估业务流程与长周期专业任务的 AutomationBench 上取得 59.9%，在 AA-Briefcase 上取得 1,393 Elo。

网络安全是 Mistral Large 4 的突出能力之一，在真实漏洞评估和安全竞赛任务上都表现强劲。三项基准凸显了该模型的网络安全表现：

Artificial Analysis Cyber Index：在这项独立评估模型发现并修复软件漏洞能力的榜单上，ML4 位列全球前五。
漏洞复现与打补丁：它取得 82%，是该指数中此测试上报告的最高分。该任务要求复现开源软件中的一个真实漏洞，然后为其打补丁，同时考察排查与修复能力。
Cybench：ML4 解出了取自安全竞赛的 40 道题中的 93%，在实操型安全问题上表现强劲。

Mistral Large 4 在 Lakera 的 B3 基准上还表现出 93.3% 的抗攻击率，为抵御提示注入（prompt-injection）攻击提供了更多证据。除基准之外，内部测试在恶意软件分析、漏洞优先级排序和检测规则生成方面也显示出有前景的结果。

推理支持#

Mistral Large 4 在发布当天（day-0）即支持 transformers、vLLM 和 llama.cpp。GGUF 量化版本可从 GGUF 和 llama.cpp 团队获取。我们提供通过推理端点（Inference Endpoints）进行远程部署的选项，以及通过推理提供方（Inference Providers）使用无服务器推理。

Transformers#

Transformers 的实现提供 AutoModelForMultimodalLM，由 AutoProcessor 准备对话与图像输入。Mistral Large 4 的推理强度（reasoning effort）可设为 low、medium、high。默认是 high，并且注意推理无法关闭，因此设置 reasoning_effort: none 仍会使用 high。

要运行该模型，请升级 transformers 包：

pip install --upgrade transformers

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)

# 仅文本
text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]

# 文本 + 图像
multimodal_messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
            },
            {
                "type": "text",
                "text": "How many cats are in the image?",
            },
        ],
    },
]

for messages in [text_messages, multimodal_messages]:
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
        reasoning_effort="medium",
    ).to(model.device).to(model.dtype)
    input_len = inputs["input_ids"].shape[-1]

    outputs = model.generate(**inputs, max_new_tokens=100)
    if int(os.environ["RANK"]) == 0:
        print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

你可以把上面的脚本保存为 script.py，然后运行：

torchrun --nproc-per-node 8 script.py

vLLM#

vLLM 支持高质量的 NVFP4 版 Mistral Large 4 检查点，其显存占用更小，需要 NVIDIA Blackwell GPU。该模型还附带一个 DSpark 草稿器（drafter），可在 vLLM 中进一步提速。这样启动服务：

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --config-format mistral \
    --load-format mistral \
    --tensor-parallel-size 8 \
    --decode-context-parallel-size 8 \
    --enable-expert-parallel \
    --dtype bfloat16 \
    --max-model-len 131072 \
    --max-num-seqs 16 \
    --max-num-batched-tokens 2048 \
    --gpu-memory-utilization 0.85 \
    --enable-prefix-caching \
    --enforce-eager \
    --mm_processor_cache_gb 0.0

服务启动后，你可以运行下面这段：

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
    -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp#

Llama.cpp 和 Llama App 已经支持 Mistral Large 4。

你可以用下面的命令安装 Llama App：

curl -LsSf https://llama.app/install.sh | sh

然后这样启动服务，在模型 ID 之后指明量化后缀：

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

这里是基于 FP8 检查点导出的量化版本仓库，这是 NVFP4 版本，由官方 NVFP4 仓库转换而来。

服务启动后，你可以打开 localhost:9931，用内置的 WebUI 聊天。在 Web UI 中你可以添加图像进行推理，并调整推理强度。你也可以这样查询服务。欢迎查阅 API 参考，了解多模态、工具调用等更多内容。

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

你可以这样运行图文推理：

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

llama.cpp 团队提供以下量化版本：IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0，以及用于进一步转换的 BF16。2-bit 量化版本可在单台配备 512 GB 统一内存的 Apple Silicon Ultra 电脑上运行。其他的则需要分布式推理。你也可以在多张 NVIDIA 或 AMD 显卡上运行。

在单台 M3 Ultra 上运行 Q2_K，我们得到的预填充吞吐约为每秒 90 token，生成速度为 15 tok/s。在 4 张 RTX6000 Pro 上，我们观察到以下结果：

NVFP4：上下文长度 32K，预填充 130–590 t/s，生成速度约 10 t/s
IQ2_XXS：上下文长度 800K。在短上下文下，预填充为 500 tok/s，生成速度为 30 tok/s。但使用长上下文时性能降至 129 tok/s（预填充）和 3 tok/s（生成）。

用 TRL 微调#

我们同样在发布首日（day 0）支持使用 TRL 微调 Mistral Large 4。你只需升级到最新版本的 transformers、trl 和 peft。

pip install --upgrade transformers trl peft

在下面的例子中，我们训练模型进行多语言思考。微调后的模型将能用系统提示所要求的语言进行推理！

该脚本在一个 8×B300 节点上运行 FP8 变体。完整示例（含 Slurm 启动器）在 TRL 的 examples 中。

# torchrun --nproc-per-node 8 sft.py
import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
# 助手轮次带有推理内容，因此以推理模式渲染
dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

推理端点#

Mistral Large 4 也可在推理端点（Inference Endpoints）上使用，并提供可在 8 张 NVIDIA H200 GPU 上直接部署的配方（recipe）。该配方使用 vLLM，通过张量并行与专家并行把 FP8 权重拆分到全部八张 GPU 上，并利用模型内置的 DSpark 草稿头（draft head）通过投机解码（speculative decoding）加速生成。它最多提供 131K token 的上下文，并同时处理最多 16 个请求，我们观察到以下结果：

单请求：1K token 提示的首 token 时间约为 0.6 秒，生成速度约 65 tok/s；在 DSpark 草稿被接受的聊天提示上可达 120–138 tok/s。
长提示：16K token 的提示、同时四个，总共以约 4,300 tok/s 预填充，首 token 时间为 8–9 秒。
负载下：在 1,000 段 ShareGPT 对话上总生成速度约 480 tok/s。

你可以用 hf CLI 这样部署：

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

端点运行起来后，你可以使用端点 URL 和 Hugging Face token 查询其 OpenAI 兼容 API。reasoning_effort 字段控制模型在回答前推理多少，可设为 low、medium 或 high（默认）。

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

答案在 choices[0].message.content 中返回，推理过程在 choices[0].message.reasoning 中。该端点还通过标准 Chat Completions 字段支持工具调用、结构化输出、图像输入和流式返回。

Dell 企业中心#

让你的 Dell AI 服务器（NVIDIA H200、B200、GB200 或 GB300）最快跑起来的方式，是安装 dell-ai CLI：

pip install dell-ai && dell-ai login

然后用它在例如一台 NVIDIA B300 节点上运行针对 Mistral Large 4 优化的配方。

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

你可以在 Dell 企业中心（Dell Enterprise Hub，DEH）了解关于本次发布的更多信息。

上手试用#

从 Mistral Large 4 集合获取权重，用 GGUF 在本地运行，或用推理端点部署。我们迫不及待想看到你用 Le Chonk 构建什么。欢迎在 Hub 上分享你的微调、量化版本和其他制品！

本文提到的模型：5 个

本文提到的集合：1 个