专题演讲嘉宾：章武

本次演讲我将围绕当前端侧大模型日益增长需求，针对华为手机端侧大模型入端技术挑战（人因、内存、存储、功耗等），重点介绍相关创新技术实践和生态开放方案，同时展望未来端云协同技术下端侧大模型能力的演进。

演讲提纲

1. 背景

• 端侧大模型应用场景
• 大模型入端的主要收益

2. 端侧大模型技术的主要挑战

• 大模型应用的人因体验
• 内存、存储、算力和功耗多重受限

3. 大模型入端技术创新实践

• 算法创新（投机、以存代算、token 压缩复用）
• 模型小型化（量化）
• 推理加速优化
• 内存极致压缩复用

4. 大模型能力开放

• 大模型推理引擎
• 自定义算子编程 Ascend C

5. 未来展望

• 端云场景的协同

您认为，这样的技术在实践过程中有哪些痛点？

• 大模型的端侧推理的内存优化和包体积优化
• 端侧大模型场景功耗问题

演讲亮点

• 大模型大模型推理引擎，Ascend C 自定义编程

听众收益

• 大模型入端技术探索，端云协同，低 bit 量化