专题演讲嘉宾：曾书霖 博士

AI 2.0 模型对算力和数据的需求激增，导致硬件系统的能耗开销逐渐“供不应求”，亟需软硬协同为 AI 行业提供高质量的 AI 系统能效（ Tokens/J） 。本次演讲我将介绍软硬件协同优化以提升智能系统能效的研究成果，包括模型稀疏量化压缩、高效推理系统设计与大模型加速器设计。并且结合华为昇腾集群的工程实践，探讨下一代 AI 推理系统的演进趋势。

演讲提纲

1. 大模型推理从 Token 到价值

• 人工智能发展历程回顾
• Tokens 作为生产要素的关键
• Tokens 实现产业价值的分析

2. 大模型推理的软硬件协同优化层次

• 能效指标的变化
• AI 2.0 的关键指标：高质量 Tokens/J
• 高质量能效优化的现状与路径
• 人工智能软硬件分层

3. 多层次优化技术

• 模型压缩：混合量化与稀疏注意力
• 推理加速：PD半融合加速范式与投机早退加速
• 硬件架构：文生文与文生视频加速器

4. 华为昇腾大模型推理加速实践

• 现状与挑战
• 工程实践
• 未来展望

您认为，这样的技术在实践过程中有哪些痛点？

• 模型规模激增与硬件算力、能效矛盾加剧
• 软件栈与硬件特性难以对齐，工程落地复杂

演讲亮点

• 首提“ 高质量 Tokens/J ”指标，重塑能效评价体系
• 从模型、系统到硬件的全栈协同优化实践

听众收益

• 掌握提升大模型推理能效的系统性方法
• 了解 AI 推理能效的演进方向，提前布局系统架构升级