机器智能视觉具有低延迟、高带宽、算力密集、有状态等特点，如何基于云原生的容器技术，实现 AI 算法编排、异构算力混部、弹性伸缩、边缘计算等，目前业内还没有特别成熟的架构方案。

本次演讲结合 AI 视频推理的特点，分享在不同的应用场景下，基于 Kubernetes 和 OpenYurt 在非结构化数据接入、异构算力混部和编排、数据融合、云边协同场景下的实践经验。

演讲提纲

1. 背景介绍
2. 基于原生 Kubernetes 的 AI 推理服务网格
   • 概述
   • 系统架构
   • 挑战和思考
3. 基于 OpenYurt 的 AI 推理服务网格的架构演进
   • 边缘计算概述
   • OpenYurt介绍
   • 架构实践
   • 思考
4. 加速卡（GPU/NPU/TPU）混合编排方案
5. 总结回顾

听众受益：

1. 在实时视频推理场景下的服务网格架构设计
2. 从 Kubernetes 到 OpenYurt 的架构演进和思考
3. 异构加速卡（GPU/NPU/TPU）的混部和调度技术