机器智能视觉具有低延迟、高带宽、算力密集、有状态等特点，如何基于云原生的容器技术，实现 AI 算法编排、异构算力混部、弹性伸缩、边缘计算等，目前业内还没有特别成熟的架构方案。

本次演讲结合 AI 视频推理的特点，分享在不同的应用场景下，基于 Kubernetes 和 OpenYurt 在非结构化数据接入、异构算力混部和编排、数据融合、云边协同场景下的实践经验。

演讲提纲

1. 背景介绍
2. 基于原生 Kubernetes 的 AI 推理服务网格
   • 概述
   • 系统架构
   • 挑战和思考
3. 基于 OpenYurt 的 AI 推理服务网格的架构演进
   • 边缘计算概述
   • OpenYurt介绍
   • 架构实践
   • 思考
4. 加速卡（GPU/NPU/TPU）混合编排方案
5. 总结回顾

听众受益：

1. 在实时视频推理场景下的服务网格架构设计
2. 从 Kubernetes 到 OpenYurt 的架构演进和思考
3. 异构加速卡（GPU/NPU/TPU）的混部和调度技术

近年来，在容器、Kubernetes、云原生等技术推动下，Serverless 技术也迎来了迅速发展，国内各大厂都在积极建设 Serverless 相关产品，美团也于2019年初开始了 Serverless 平台的建设。Serverless 平台的建设挑战较多，例如技术选型、冷启动优化、高可用、容器稳定性、研发体系等，面对这些问题美团又做了哪些优化和实践呢？本次分享将为您介绍美团 Serverless 平台落地的探索与实践。

演讲提纲：

1. 介绍美团建设 Serverless 平台的背景
2. Serverless 的架构、实现原理
3. 优化核心技术，保障业务稳定性
   • 弹性伸缩优化
   • 冷启动优化
   • 高可用保障
   • 容器稳定性优化
   • 资源利用率提升
4. 丰富 Serverless 产品周边生态
5. 介绍落地场景、收益

你将获得：

1. 了解美团 Serverless 落地路径
2. 了解美团 Serverless 平台基本架构和演进思路
3. 了解美团 Serverless 平台落地过程中面临的问题以及如何解决

腾讯在大规模 Kubernetes 集群下通过混部技术将在线与离线业务混合部署在一起，以统一调度与提升资源利用率。在这种背景下在线离线负载之间隔离变得尤为重用。传统方式使用 Kernel CGroup NameSpace 等实现资源隔离，有诸多缺点，如隔离粒度不够、无法保证强隔离等。

本演讲介绍腾讯 Kubernetes 利用自研内核 QoS 技术，实现主要资源强隔离，在内核层面保证在线离线资源服务质量。在保证业务稳定的前提，将工作节点利用率提升到极致。

演讲提纲：

1. 腾讯云原生离在线混部背景、现状及发展趋势
2. 腾讯 Kubernetes 混部隔离架构与实践
   • 腾讯混部基本原理与核心架构
   • 利用负载预测实现资源超卖
   • 利用资源 QoS 框架实现资源隔离
   • 利用 batch 调度加速调度性能
3. 腾讯自研内核隔离技术与实践
   • CPU 隔离
   • 内存隔离
   • IO/网络隔离
   • Quality Monitor
4. 混部技术未来展望

你将获得：

1. 了解混部资源隔离的关键技术
2. 了解腾讯自研内核 QoS 实现原理
3. 了解腾讯 Kubernetes 使用自研内核实现资源隔离的原理
4. 了解腾讯 Kubernetes 混部的落地效果