基于大规模弹性伸缩实现拓扑感知的在离线并池

所属专题:弹性调度系统

嘉宾 : 邵伟 | 字节跳动高级研发工程师

会议室 : 宴会厅2

讲师介绍

专题演讲嘉宾:邵伟

字节跳动高级研发工程师

字节跳动基础架构编排调度团队研发工程师,目前主要负责字节跳动弹性资源管控能力的构建,包括以 HPA/VPA 为基础的弹性扩缩能力,以 Virtual Kubernetes 为核心的弹性容器和弹性集群接入能力,以及微拓扑感知到的资源管控和调度能力等。

议题介绍

演讲:基于大规模弹性伸缩实现拓扑感知的在离线并池

字节内部有丰富多样的在离线业务负载,这些负载的资源使用模式和天级流量分布各不相同,为实现资源利用效率的最大化,架构上常常会采用在离线并池的技术方案;该方案通过调度能力和隔离技术有效支持了在线微服务和批式离线作业并池,提升了站内整体资源利用率。

然而,字节推广搜索等核心在线服务和离线高优训练作业场景中情况会更加复杂,这些业务通常对调度和管控有更精细化的要求,如更强的单机拓扑感知能力、需要使用异构资源、业务负载有多种角色(主从)关系等,为资源利用率提升和并池带来了更大的挑战。

本次分享将重点介绍字节在离线一体化弹性体系建设的实践,基于统一的调度和管控能力,实现拓扑感知的在离线资源并池以及资源利用率的提升。

演讲提纲:

  1. 背景介绍 
    • 字节资源并池现状
    • 基于弹性实现并池的必要性  
    • 基于弹性实现并池的痛点 
  2. 在离线一体化弹性体系
    • 弹性基础能力构建 
    • 在离线弹性资源协同感知 
    • 资源稳定性和性能建设
  3. 案例分析 
    1. 典型在离线工作负载案例概述 
    2. 在离线扩缩流程拆解和介绍 
    3. 效果和收益 
  4. 未来展望

听众收益:

  1. 了解在离线弹性系统设计的异同,以及各自将面临什么样的挑战 
  2. 了解字节在离线统一的弹性调度能力如何构建和落地 
  3. 了解站内场景如何解决弹性资源合理使用的问题
     

交通指南

上海宝华万豪酒店

Shanghai Marriott Hotel Parkview
地址:上海市静安区广中西路 333 号
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

小姐姐 小倩