专题演讲嘉宾：宋顾杨

随着大模型预训练和后训练的发展，Ray 已经逐步在 AI Infra 领域占据重要的生态位。K8s 作为云原生技术的核心系统，在 AI Infra 领域几乎是必选的算力基座。 本次演讲我将从调度的视角分析 K8s 和 Ray 的差异以及在技术栈上的协同，同时分享 K8s + Ray 在腾讯内部的万卡落地实践。

演讲提纲

1. AI Infra 技术栈与发展趋势

• AI Infra 主流技术栈
• K8s 与 Ray 生态位分析

2. Ray 的调度视角

• Ray 调度内核介绍
• Ray 调度提效案例分享

3. K8s + Ray 在腾讯内的落地实践

• 云原生异构联邦架构
• K8s + Ray 跨层融合调度
• 落地案例分享

您认为，这样的技术在实践过程中有哪些痛点？

• 对人才有一定的技术要求，一方面要熟悉云原生技术，另一方面要熟悉 Python Native 的调度引擎和 AI 框架
• K8s + Ray 从系统优化层面看，优化上限更高，但同时如果姿势不对，系统性能的下限也更低

演讲亮点

• 将总结 K8s + Ray 技术栈相关领域发展趋势
• 将解惑 K8s 和 Ray 两个生态定位的差异和协同方式
• 将分享腾讯内部真实的落地案例

听众收益

• 了解 Ray 项目发展现状，从调度的视角了解 Ray 的内核
• 了解 K8s + Ray 落地相关的技术挑战
• 了解 Ray 在业内主流的应用场景和预期收益