本次演讲将重点分享飞桨在文心 4.5 系列大模型训练中的性能优化实践，涵盖多模异构 MoE 结构下的工程挑战与系统性解决方案，包括混合并行策略、负载均衡优化、显存效率提升及 FP8 训练等关键技术。

演讲提纲

1. 多模异构 MoE 模型的工程挑战

• 视觉模块对流水并行的影响
• 变分数据对负载均衡的影响
• 多模态联合训练对存算均衡的影响

2. 多模型结构混合并行

• 视觉编码并行策略
• MoE 并行策略

3. 分层多模负载均衡策略

• 粗粒度数据重排
• 变长序列并行模式

4. 极致存算均衡技术

• 显存友好 MoE 架构
• 显存优化流水编排
• 细粒度重计算
• FlashMask
• 稀疏掩码技术

5. FP8 训练与优化

• 算子融合
• FP8 通信优化
• FP8显存优化

6. 大规模集群训练技术

• 高效自动故障感知、定位、容错机制

7. 总结与展望

您认为，这样的技术在实践过程中有哪些痛点？

• 多模型结构混合并行策略的工程实现
• 多模数据负载均衡

演讲亮点

• 针对多模异构 MoE 模型的多模型结构混合并行策略实现，能最大化并行效率
• 多模态负载均衡策略，降低多模变分数据对端到端性能的影响

听众收益

• 了解飞桨大规模分布式技术及其在文心模型上的应用
• 了解大模型训练的难点及其常见解决方案