BlockLock：以固定批次几何实现可复现的 LLM 推理
本文目录
arXiv:2611.06977 (cs.AI)
[Submitted on 4 Nov 2026]
作者：Xiuyuan Qi、Pedro Reviriego、Javier Conde、Shanshan Liu
摘要#
可复现的 LLM 推理要求：一个请求产生的输出，无论批次中其他请求如何，都必须相同。现有方案以不同方式为此付出代价：批次不变内核（batch-invariant kernels）会约束每个算子；用固定形状解码隔离预填充（prefill）——即我们的 CoRun 式基线——则放弃共享的预填充计算，并对解码进行填充（padding）。我们提出 BlockLock：它保留共享的批量预填充，只固定受保护请求的数值路径——它固定该请求所看到的几何结构，提供两种模式：BlockLock-Rows 使用固定宽度行，并保留所有请求的批量解码；BlockLock-Pack 使用终端锚定的打包（terminal-anchored packing）与隔离的哑段（dummy segment），然后提取受保护请求的 KV 状态，用于仅目标解码。在明确的每次部署契约下，当伴随请求发生变化时，两种模式都能按位保持目标的输出。我们在五个稠密模型（Qwen3-8B/14B、Llama-3.1-8B-Instruct 和 Gemma-3-4B/12B-IT）和三种单 GPU 部署（NVIDIA A6000、A100 和 H100）上，在 tinyBenchmarks 和 BFCL 上评估我们的方法；我们还包含在两个 NVIDIA A6000 GPU 上的初步张量并行实验。在所报告的测试中，两种模式都保持了目标序列和 Top20-logit 位。在交付工作量相同的情况下，与 vLLM Batch-Invariant 相比，BlockLock-Rows 将延迟降低 53.5%–55.0%，吞吐量提高 115.2%–122.2%；与批次不变内核相比，它不需要自定义内核实现，并且只约束受保护的请求。
主题：人工智能（cs.AI）；计算与语言（cs.CL）
引用：arXiv:2611.06977 [cs.AI]（或 arXiv:2611.06977v1 [cs.AI] 引自本版本）
https://doi.org/10.48550/arXiv.2611.06977
提交历史#
来自：Xiuyuan Qi [查看电子邮件]
- [v1] Wed, 4 Nov 2026 13:40:05 UTC (2,005 KB)