专题演讲嘉宾：徐梦炜 博士

通过本地化搭载大模型，终端设备的智能能力将获得飞跃式提升，铸造移动计算的下一个黄金时代，对学术界和产业界都是巨大的机遇。为了更好地适应这个过程中上层应用编程接口、用户交互范式、底层资源管理的重要变化，操作系统可能会被重新定义和改写。面向以大模型能力为核心的未来智能终端硬件，本次演讲我将介绍团队在大模型操作系统设计和优化方向的思考和尝试，包括 GUI/API 终端智能体构建、面向 NPU 的端侧大模型推理优化加速等。

演讲提纲

1. 背景

• 以大模型为核心的终端硬件发展
• 为什么需要一个新的操作系统

2. 构建大模型操作系统的主要技术挑战

• 面向上层智能体应用的易用接口
• 面向受限硬件资源的高效调度

3. 技术尝试

• GUI/API 系统级智能体
• 面向 NPU 的端侧大模型推理优化加速
• 端侧 KV Cache 高效压缩和管理

4. 未来展望

• 演化路径和关键节点
• 学术研究和产业机遇

您认为，这样的技术在实践过程中有哪些痛点？

• 具体未来大模型操作系统的发展需要结合场景、硬件形态、模型能力发展来看，本次演讲内容偏展望性质

演讲亮点

• 较为前沿，偏算法-系统-硬件垂直整合

听众收益

• 了解学术界对端侧大模型的前沿尝试和思考
• 碰撞大模型操作系统相关思想火花