大数据场景下的工作流编排调度系统实践

所属专题:调度系统实践

嘉宾 : 方传云 | 字节跳动高级软件工程师

讲师介绍

专题演讲嘉宾:方传云

字节跳动高级软件工程师

方传云,字节跳动高级工程师,目前负责数据平台“大数据开发平台”架构与性能优化。2011 年毕业于武汉大学,曾就职于 MorganStanley、Paypal 参与外汇交易系统以及大数据风控系统研发。在分布式应用开发、Spark 应用调优以及特征开发平台都有过探索和实践。

议题介绍

演讲:大数据场景下的工作流编排调度系统实践

字节跳动做为一个数据驱动的公司,一直致力于让数据更高效地服务于各个业务。随着业务的不断发展,字节跳动在大数据任务开发和调度方面遇到了很多挑战。为此开发了“大数据开发和调度平台“,可以快速完成数据集成、开发、调度和运维等全套研发工作。面对公司的业务复杂性以及任务量,完成秒级延迟、复杂依赖关系的任务调度有很大的挑战。本次分享将介绍调度平台整体系统架构、大任务量高可用低延时需求带来的挑战以及实践中的经验总结。

内容大纲

1. 任务开发调度的背景

  • 任务开发调度业务场景
  • 任务开发调度系统发展历程

2. 调度系统架构解析以及现状

  • 调度系统架构以及详解
  • 如何满足高可用需求
  • 调度系统现状

3. 实践中的挑战、解决方案和思考

  • 资源隔离
  • 调度的“公平性”
  • 系统稳定性挑战
  • ……

4. 未来规划

听众受益

  • 了解高可用的工作流调度系统架构设计;
  • 了解字节跳动在工作流调度系统的实践与经验。

适合人群

架构师、数据开发平台工作者、对高可用调度系统有兴趣人员。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+86-17310043226