在过去近二十年，从云计算和基础设施代码化开始，到云原生和不可变基础设施的概念，IT 基础设施的可维护性和资源效能都取得了巨大的飞跃，这其中的核心系统也无一不是以开源为基础的。就在过去两三年里，随着大模型开始进入越来越多的生产环境，模型相关服务开始成为了新的基础设施，扩大了基础设施的范围，也让模型服务栈向着更加可靠、可维护、高效的基础设施化方向演进，这其中同样有大量的开源组件。本演讲我将回顾基础设施的演进历程，介绍当前的基础设施开源软件栈，并展望未来的 AI-Ready 的基础设施架构。

演讲提纲

1. 基础设施设施技术的演进

• 虚拟化与云计算：用代码管理基础设施
• 容器与云原生：应用为中心
• 基础设施的演化方向：ZeroOps、敏捷与高效

2. 架构演进：模型成为新的数据库

• 大模型引领的技术趋势
• 生态位的变化：模型成为新的数据库

3. 模型为中心到基础设施

• 开源模型推理引擎 vLLM 和 SGLang 快速崛起
• 模型的生产、分发、优化部署与执行引擎
•  从云原生到 AI 原生，从应用为中心到模型为中心

4. AI 中间件：Agent 基础设施

• 无处不在的 Agent
• Agent Sandbox 与 Agent Tools

5. 展望：从“通算 + 智算”向通智一体的演进

• 应用即 Agent，演进相向而行
• 挑战：应用与基础设施的快速迭代和面临的安全可信威胁
• 机遇：更加弹性高效、敏捷快速、智能化的基础设施

高速互联总线技术正推动数据中心架构从传统多节点集群走向超节点形态。相对传统多节点集群以 Scale-Out 为主的扩展方式，超节点支持业务的 Scale-Up 扩展。这使得每个超节点都具备强大的算力。如何帮助业务用上超节点的能力，充分发挥超节点的算力极限，这对基础软件提出了更高要求。

本次演讲我将分享在超节点架构下构建开源基础软件的经验，探讨如何平滑迁移业务、最大化利用超节点的性能潜力，并提升系统的可靠性与可维护性。通过智能计算与通用计算两类超节点的对比实践，提炼可复用的设计理念与工程方法，为未来数据中心软件基础设施的演进提供参考。

演讲提纲

1. 超节点的兴起与技术驱动力

• 高速互联总线技术发展背景
• 与传统集群的核心差异与优势
• 典型应用场景与性能需求

2. 超节点基础软件的架构挑战

• 系统资源调度与隔离
• 高性能通信与数据共享
• 容错与高可用机制

3. 智能计算超节点的基础软件设计

• 大模型训练场景的优化策略
• 大模型推理场景的优化策略

4. 通用计算超节点的基础软件设计

• 高吞吐计算任务的适配与优化
• 虚机与容器的热迁移能力

5. 共性能力在基础软件中的落地

• 异构硬件的统一抽象解耦
• 多级异构池化资源管理
• 多维度可定制调度策略

6. 迁移与落地实践

• 从传统集群向超节点平滑迁移的路径
• 工程案例与经验总结

7. 未来展望

• 超节点与分布式架构的融合趋势
• 对数据中心基础设施的长远影响

您认为，这样的技术在实践过程中有哪些痛点？

• 超节点作为新兴技术，了解的人还不多，有机会实践的更少，交流和讨论还比较欠缺

演讲亮点

• 开源

听众收益

• 超节点的应用场景和潜在收益，可结合自身业务考虑超节点的应用机会

在过去的二十年间，我们的数据栈围绕着 3V ( Volume、 Velocity 和 Variety ) 的目标一直在进化，但是我们的数据栈构建仍然是围绕着引擎，而这没法使我们的数据栈智能化以顺应生成式 AI 时代的潮流。相反的，如果我们的数据栈围绕元数据进行重构，那么我们会从元数据中获得更多的可解释性信息，从而使我们的数据栈变得更智能化。

在本次演讲中，我将为大家介绍元数据驱动的数据架构，以 Apache Gravitino 为例，分享如何构建以元数据驱动的数据架构，并且使整个数据栈智能化，Agent 化。同时也会为大家演示如何以元数据为中心构建各种不同的数据 Agent，并通过 Agent 之间的协同解决数据领域中常见的问题。最后，在未来展望部分，探讨如何将元数据驱动的数据栈和大语言模型结合，让数据栈真正实现自动化和智能化。

演讲提纲

1. 背景

• Data Stack 的发展历程：Data Warehouse → Hadoop Data Stack → Data Lakehouse
• 现有 Data Stack 架构的演进

2. 现有架构的挑战和问题，尤其是面对 AGI 时代存在的问题

• 追求性能的速度越来越慢，收益越来越小
• 从性能向智能演进符合客观规律
• 能够更好的与 LLM 集成

3. 如何才能解决这样的问题

• 元数据 - 数据平台的大脑

4. 如何构建元数据驱动的数据架构

• 统一元数据架构介绍
• 如何重构现有的数据架构，迈向元数据驱动的数据架构

5. 使用元数据中心的数据架构搭建数据 Agent（demo）  

6. 总结展望

您认为，这样的技术在实践过程中有哪些痛点？

• 现有系统的元数据质量普遍较低，需要大量人力进行清洗和治理
• 跨组织的元数据标准不统一，导致集成困难
• 团队对元数据价值认识不足，缺乏持续投入的动力

这些挑战直接影响了智能化转型的速度和效果。

演讲亮点

• 以元数据为中心的架构重构：展示如何通过 Apache Gravitino 实现数据栈的智能化，是国内首次深入探讨此主题的技术分享
• 数据 Agent 实战：通过实际案例展示元数据驱动的数据 Agent 如何协同工作，解决传统数据架构难以应对的复杂场景
• 面向未来的数据架构：揭示元数据与大语言模型结合的创新路径，帮助听众把握数据领域的下一代技术趋势

听众收益

• 了解统一元数据，以及围绕统一元数据如何构建新型的数据架构，并依托此架构结合大模型快速搭建不同业务形态的数据 Agent

当前，生成式 AI 正以前所未有的速度发展，其大规模部署所依赖的推理基础设施面临诸多挑战。本次演讲我将深入探讨构建高效、可扩展的 LLM 推理基础设施的关键挑战与解决方案，并以 llm-d 项目作为核心参考。我们将分析 LLM 推理中普遍存在的高延迟、资源利用率低下、KV 缓存管理和复杂分布式编排等问题，首先介绍 vLLM 作为优化单节点 LLM 推理的基础引擎，阐述其如何通过 PagedAttention、持续批处理和推测解码等技术提升性能。随后我们将重点探讨如何将这些单节点优化扩展到分布式集群环境，作为 Kubernetes 原生的平台，实现 AI 感知路由和先进编排，从而构建更高效、可扩展的 LLM 基础设施。最后，我们将总结在实践中实现高性能和成本效益的“明智路径”，并呼吁行业共同参与云原生分布式推理开放标准的建设。

演讲提纲

1. 背景 & 问题

• LLM 推理面临的挑战
• 高延迟、资源利用率低下、KV 缓存需求和复杂分布式编排

2. vLLM：单节点 LLM 推理优化

• vLLM 的定位与核心优势
• PagedAttention、持续批处理和推测解码
• 广泛的兼容性与开源社区驱动

3. llm-d：分布式推理

• llm-d 的 Kubernetes 原生架构
• 基于 vLLM 的分布式优化
• 跨平台与行业协作

4. 结论与行动呼吁

• 规模化 LLM 推理的“明智路径”
• 解耦推理、智能调度与 MoE 扩展

演讲亮点

• 开源、Kubernetes 原生、高性能

听众收益

• 了解 LLM 推理的挑战与解决方案
• 掌握 vLLM 和 llm-d 的核心技术与优势
• 探索在 Kubernetes 上实现大规模 GenAI 推理的实践路径