DeepSeek 宣布开源优化并行策略

火星财经消息，据金十报道，Deepseek 于开源周第四天宣布开源优化并行策略，其中 DualPipe——包括一种用于 V3/R1 训练中计算-通信重叠的双向管道并行算法；EPLB——一种用于 V3/R1 的专家并行负载平衡器；以及分析 V3/R1 中的计算-通信重叠。

「查看原文」