摩尔线程成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe

根据IT之家于2月27日的报道，在DeepSeek开源周的第四天，摩尔线程宣布成功集成了开源通信库DeepEP和并行算法DualPipe，并已发布相关的开源代码库：MT-DeepEP及MT-DualPipe。

DeepEP是专为MoE（混合专家）模型设计的开源EP（expert parallelism，专家并行）通信库，旨在支持大规模模型的训练，尤其适合EP集群训练。该库通过提升通信通道的使用效率，从而提高训练效率。摩尔线程基于MUSA Compute Capability 3.1的全面GPU适配了DeepEP，具备以下特点：

• 优化的All-to-All通信，具备分发与组合的功能

• 支持MTLink + GPU（MUSA Compute Capability 3.1）内部通信

• 高吞吐量计算核心，适用于训练与推理的预填充阶段

• 在推理解码阶段提供低延迟的计算核心

• 原生支持FP8数据分发

• 灵活管理GPU资源，实现计算与通信的高效重叠

DualPipe是DeepSeek-V3提出的双向流水线并行算法，通过前向计算和后向计算阶段的深度重叠，显著减少了“流水线气泡”（设备空闲时间）。摩尔线程依托已开源的深度学习框架Torch-MUSA及其MUSA软件栈，实现了对DualPipe算法的支持。

目前，MT-DualPipe能够与摩尔线程的MT-Megatron框架和MT-TransformerEngine框架（即将开源）完美结合，实现DeepSeek V3训练流程的完整复现。此外，MT-DualPipe结合MT-Megatron能够实现DeepSeek V3模型的MLP-FFN分离和DW-DG分离，进一步降低气泡占比，并优化通信效率。同时，MT-DualPipe与MT-TranformerEngine和MT-DeepEP的结合，有助于利用MT-DeepEP和异步通信引擎实现更高效的通信覆盖，减少计算资源损耗。

IT之家提供Torch-MUSA开源地址如下：

https://github.com/MooreThreads/Torch_MUSA

相关阅读：

• 《DeepSeek 开源进度 4/5：DualPipe、EPLB 优化并行策略》

• 《DeepSeek 开源进度 3/5：深度学习利器 DeepGEMM》

• 《DeepSeek 开源进度 2/5：首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP》

• 《DeepSeek 代码库开源进度 1/5：为 Hopper GPU 优化的高效 MLA 解码内核 FlashMLA》

广告声明：文中提及的外部链接（包括超链接、二维码、口令等形式）旨在传递更多信息，以节省查找时间，结果仅供参考。