专题演讲嘉宾：何蔚然

随着大型语言模型的社会影响力日益增强，相应的人工智能产品用户基数也在迅速扩大。目前，AI产品发展的一个主要挑战是如何在有限的计算资源下，有效应对日益增长的用户需求。本议题从实际业务出发，探讨在固定集群资源的条件下，通过采用单点和分布式推理架构，提升集群处理大规模请求的能力，过程中遇到的挑战以及我们的解决策略，希望能给大家带来一些帮助和思考。

演讲提纲

1. 大规模推理挑战

• 优雅的集群过载
• 超长上下文性能挑战
• 故障定位与自动运维

2. 单点性能优化

• 混合并行策略
• 长上下文推理优化

3. 分离式架构 Mooncake

• 设计场景 —— SLO vs MFU - 分离式架构设计
• 集群调度策略、热点均衡
• 开源计划

4. 未来展望 - 硬件能力展望

• 更细粒度的池化分离
• 分离式内存系统

实践痛点

• 生产环境高负载下有效地过载
• 线下测试与线上负载的解耦

演讲亮点

• 经过实际生产环境大规模验证的分离式推理系统，面对真实线上负载实现性能提升
• 从实际业务出发，分析推理系统设计决定和关键技术

听众收益

• 了解分离式架构在实际生产环境中的挑战与发展趋势
• 了解未来硬件/算法演进方向