LRMoE：面向显存受限节点的高效 MoE 训练之需求侧负载重校准#

arXiv： arXiv:2610.37720（cs）

[提交日期] 2026 年 10 月 27 日提交

标题： LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes

作者： Jiaming Hu, Zhida Jiang, Zhaolong Xing, Yu Li, Zhen Chen, Ke Zhang

摘要#

稀疏专家混合（Sparse Mixture-of-Experts，MoE）模型为 Web 应用提供了可扩展的容量，但不均衡的路由会造成计算与通信瓶颈。现有的放置与复制方法会重新分配这些工作负载，但额外的专家副本会与 token 相关的缓冲区争夺有限的 GPU 显存。我们提出 LRMoE，一个具备显存感知能力的 MoE 训练系统，它联合重校准反向传播需求，并平衡保留下来的工作负载。在前向执行期间，它在资源约束下规划保留配额与专家放置，同时保留所有被路由的计算。在反向传播期间，一个负载重校准度量会估计每个 token-专家对（token-expert pair）对专家更新的贡献，并在这些配额范围内选择配对。一个容量感知的路由算法会把保留下来的配对分配到其原始专家的合格实例之间。随后物理压缩（physical compaction）形成更小的通信载荷和可变尺寸的分组 GEMM（grouped GEMM），从而减少反向传播的流量、计算量和执行缓冲区需求。在 Qwen3-30B-A3B 和 GLM4.5-106B-A12B 上的实验表明，相对于 SYMI，LRMoE 将 MoE 层达到固定损失目标的累计训练时间缩短了 21.2–44.8%。

学科： 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG）

引用格式#

arXiv:2610.37720 [cs.AI]

（本版本：arXiv:2610.37720v1 [cs.AI]）

https://doi.org/10.48550/arXiv.2610.37720

arXiv 通过 DataCite 签发的 DOI（注册处理中）

提交历史#

提交人：Jiaming Hu（查看邮箱）

[v1] 2026 年 10 月 27 日（周二）09:41:17 UTC（5,166 KB）