通过弹性专家并行实现资源高效的强化学习后训练

arXiv:2611.06984 (cs.AI)

[Submitted on 4 Nov 2026]

作者：Jia Wei、Ziyi Qiu、Yi Xu、Xuehai Qian

查看 PDF | HTML（实验性）

摘要#

强化学习后训练（reinforcement learning post-training）可提升大语言模型的能力，但生成训练回答是主要的计算瓶颈。在混合专家（mixture-of-experts）模型中，已完成所分配回答的工作进程（worker）可能仍被占用，因为它们所属的专家仍被处理更长回答的工作进程需要。因此，在基线中，约三分之一的被占用工作进程时间发生在本地回答生成完成之后。我们提出 FlexFloor，这是一个系统，可在同步回答生成期间更早释放资源，同时保留进行中回答所需的专家计算。FlexFloor 联合调整回答调度和活动工作进程组。它利用历史回答长度和内存约束来指导批处理与提示放置，然后在保持专家可用性和正确通信的同时逐步释放工作进程。与 verl 基线相比，FlexFloor 每单位被占用计算时间生成的回答 token 数增加约 65.40%，回答生成吞吐量提高 52.74%，而 rollout 奖励几乎没有观察到变化。通过让强化学习后训练更高效，FlexFloor 支持大语言模型和 AI 智能体的更快开发和迭代改进。

评论：19 页，含参考文献和附录，5 幅图

主题：人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）

引用：arXiv:2611.06984 [cs.AI]（或 arXiv:2611.06984v1 [cs.AI] 引自本版本）

https://doi.org/10.48550/arXiv.2611.06984

提交历史#

来自：Jia Wei [查看电子邮件]

• [v1] Wed, 4 Nov 2026 15:36:14 UTC (1,055 KB)