2025 年，人工智能加速从单模态向多模态发展，大模型在各行业广泛落地。在此进程中，人工智能大模型生命周期的各个环节对算力和存储产生了爆发式需求。数据获取时，海量小文件存储面临挑战；数据预处理开销成为大模型训练瓶颈；模型训练任务负载重、硬件出错概率高；模型微调需平衡数据规模与质量；模型推理存在算力困境。

这些问题该如何解决？在当前大模型产品中又如何落地相应解决方案？本次演讲将深入剖析，并将分享 Kimi 幕后的大模型推理架构 Mooncake。Kimi 从初期频繁算力扩容仍宕机，到如今能平稳承载高速增长的流量，Mooncake 发挥了关键作用，且该成果已于近期荣获第 23 届 USENIX 文件与存储技术会议（FAST25）最佳论文奖。

演讲提纲

1. 2025 年 AI 大模型的两个特点

• AI 大模型从单模态迈向多模态的发展趋势
• AI 大模型在各行业落地带来的变革

2. 人工智能大模型生命周期的五个环节

• 数据获取：收集不同模态海量文件时，面临海量小文件存储难题，如元数据管理困难、现有文件系统难以满足需求等
• 数据预处理：对分布式技术提出挑战，其开销逐渐制约大模型训练，需创新数据处理方式
• 模型训练：检查点文件读写对存储系统要求高，现有策略性能不佳，需优化存储策略以应对硬件错误和大规模数据存储需求
• 模型微调：精调垂域模型需要可控算力，同时要平衡数据规模与质量，以提升模型在特定领域的性能
• 模型推理：实时处理用户请求，需要稳定可靠算力，当前面临算力困境，需探索新的推理架构和优化方法

3. 构建国产智算系统的核心基础软件

• 清华大学 “八卦炉” 智算系统解析：介绍 “八卦炉” 在国产超算上的应用，以及对多种国产芯片的支持和性能优化成果
• Mooncake——Kimi 幕后的大模型推理架构：剖析 Mooncake 以 KVCache 为中心的架构设计、工作原理和优势，以及其在提升 Kimi 性能方面的关键作用

4. 三步让企业明确如何利用 AI 大模型

• 指导企业通过明确关键问题
• 评估数据质量
• 判断人力与 AI 的适用性，以及选择和微调模型等步骤，有效利用 AI 大模型实现转型发展

听众受益

• 清晰把握大模型的技术发展趋势
• 全面熟知人工智能大模型开发生命周期各环节的问题与解决方案
• 深入了解 Kimi 背后的大模型推理架构
• 掌握判断企业是否适合利用 AI 大模型转型的方法