专题演讲嘉宾：何普江

本次演讲将探讨在大语言模型时代充分利用 CPU 资源的关键策略。具体介绍一些结合硬件特性的优化方法，例如利用 CPU 的多核特性、采用并行计算和 AMX 指令集扩展技术来提高处理速度。

此外还将介绍一种结合 CPU 和 GPU 的投机采样方法，通过在 CPU 上运行部分计算任务，充分利用 CPU 资源并减少对 GPU 的依赖。最后，我将分享一些最新的性能情况，让您了解这些优化策略的实际效果。通过这些方法，您将能够更好地利用 CPU 资源，提高模型推理速度，以更快速高效的实现生成式模型部署落地。

演讲提纲：

1. 大语言模型时代为什么需要最大化 CPU 价值
2. CPU 上的大模型优化策略
   • 大语言模型计算特点
   • CPU 硬件特性概览
   • 优化方法
   • 从向量化到张量化
   • 从并行执行到分布式推理
   • 低精度优化
   • 深入 CPU 微架构的软件优化
   • 各优化策略的实际性能数据对比及效果展示
3. 结合 CPU 和 GPU 的投机采样方法
   • CPU 和 GPU 协同工作的背景
   • 投机采样技术的介绍
   • 利用 CPU 进行部分计算任务的优势
   • 优化方法：选择合适的投机采样策略、任务调度等
4. 总结与展望
   • 各优化方法的核心优势与局限性总结
   • 对未来大语言模型时代的展望与挑战

听众收益点：

• 理解并结合硬件特性进行优化，提高模型推理速度和处理能力
• 了解 CPU 上的最新性能情况，为实际业务的大模型线上部署提供更多选择
• 掌握结合 CPU 和 GPU 协同工作的优化策略，减少对 GPU 的依赖，提高资源利用率