专题演讲嘉宾：余锋（褚霸）

在过去近二十年，从云计算和基础设施代码化开始，到云原生和不可变基础设施的概念，IT 基础设施的可维护性和资源效能都取得了巨大的飞跃，这其中的核心系统也无一不是以开源为基础的。就在过去两三年里，随着大模型开始进入越来越多的生产环境，模型相关服务开始成为了新的基础设施，扩大了基础设施的范围，也让模型服务栈向着更加可靠、可维护、高效的基础设施化方向演进，这其中同样有大量的开源组件。本演讲我将回顾基础设施的演进历程，介绍当前的基础设施开源软件栈，并展望未来的 AI-Ready 的基础设施架构。

演讲提纲

1. 基础设施设施技术的演进

• 虚拟化与云计算：用代码管理基础设施
• 容器与云原生：应用为中心
• 基础设施的演化方向：ZeroOps、敏捷与高效

2. 架构演进：模型成为新的数据库

• 大模型引领的技术趋势
• 生态位的变化：模型成为新的数据库

3. 模型为中心到基础设施

• 开源模型推理引擎 vLLM 和 SGLang 快速崛起
• 模型的生产、分发、优化部署与执行引擎
•  从云原生到 AI 原生，从应用为中心到模型为中心

4. AI 中间件：Agent 基础设施

• 无处不在的 Agent
• Agent Sandbox 与 Agent Tools

5. 展望：从“通算 + 智算”向通智一体的演进

• 应用即 Agent，演进相向而行
• 挑战：应用与基础设施的快速迭代和面临的安全可信威胁
• 机遇：更加弹性高效、敏捷快速、智能化的基础设施