专题演讲嘉宾：王曜明 博士

本次分享聚焦“统一多模态大模型”，探讨从“理解、生成、编辑”分立的方案转向单模型统一框架。将以自回归 Decoder-only 统一模型为主线，结合 Chameleon、Show-o、Janus、BAGEL、InternVL-U、Qwen-Image 等代表性工作，梳理统一多模态模型的主流技术路线，重点介绍美团探索的 Decoder-only 架构、各模态共享 MoE、无 ViT 结构设计、生成理解联合的多阶段训练范式、生成端 RL 策略及理解端 OPD 联合后训练等在统一理解与生成模型上的技术创新，并总结工程实践中的 FSDP2 + EP 训练范式、稀疏 MoE 与硬编码 MoE 的联合优化，以及多任务多模态数据配比等典型挑战。提出的自回归 Decoder-only 统一模型在多个基准上展现出兼顾性能与效率的优势，同时实现了交错生成与理解的交互方式，达成生成与理解的共同 SOTA。

演讲提纲

1. 统一多模态大模型的演进趋势与动机
   • 从分立到统一： 梳理从“理解、生成、编辑”模块化组合到“单模型原生统一”的范式转变。
   • 为什么需要统一模型
2. 行业主流路线梳理与代表作分析
   • 离散 Token 自回归路线： 以 Chameleon、BAGEL 为代表的纯序列建模。
   • 混合建模路线： 结合 AR 理解与 Diffusion/Flow 生成的方案（如 Show-o、Janus）。
3. 统一 Decoder-only 架构的核心设计
   • 无 ViT 结构设计
   • 分模态共享 MoE 机制
   • 支持交错生成与理解的交互方式
4. 全链路训练范式与后训练优化
   • 生成理解联合的多阶段预训练
   • 差异化的后训练策略
5. 工业级工程实践与典型挑战
   • 训练效能优化（训练 Infra）
   • MoE 的极致协同
   • 数据科学与配比
6. 总结与未来展望
   • 当前效果
   • 演进方向

这样的技术在实践过程中有哪些痛点？
统一多模态模型的核心挑战，在于不同任务之间的表示冲突与训练冲突。理解与生成共享同一模型框架，往往会带来能力相互牵制的问题；离散 token 路线虽然统一性更强，但也可能损失视觉细节与语义表达。此外，这类模型对训练 recipe 高度敏感，蒸馏设计、任务配比、分辨率策略都会直接影响最终效果。

演讲亮点
本次分享不仅梳理技术脉络，更从系统设计与工程实践的角度重新审视统一多模态模型。一方面，将系统比较 OneCAT、Janus、BAGEL、Show-o 等方法在表示、融合与生成机制上的差异；另一方面，以自回归decoder-only统一模型为案例，深入解析其架构取舍与关键优化思路，帮助听众理解统一框架背后的设计逻辑。

听众收益

• 通过本次分享，听众将获得对统一多模态大模型更清晰的整体认知，建立分析这类模型的基本框架；
• 理解当前不同技术路线在统一性、生成质量、推理效率和落地能力上的权衡；
• 掌握若干具有实践价值的方法经验，为后续论文阅读、模型复现和系统选型提供参考。