DeepSeek在第四天开源了一套专为大规模AI模型设计的并行计算策略优化工具，包括DualPipe、EPLB和Profile-data三个项目。DualPipe是一种双向流水线并行算法，实现了前向和后向计算过程的计算-通信阶段完全重叠，减少了流水线气泡。EPLB是专家并行负载均衡器，通过复制工作量大的专家并合理分配到各GPU上，确保负载均衡。Profile-data提供了性能分析数据集，帮助社区理解计算与通信重叠的性能。这些工具共同支撑了DeepSeek-V3模型的高效训练和推理并行处理能力。