方传云,字节跳动高级工程师,目前负责数据平台“大数据开发平台”架构与性能优化。2011 年毕业于武汉大学,曾就职于 MorganStanley、Paypal 参与外汇交易系统以及大数据风控系统研发。在分布式应用开发、Spark 应用调优以及特征开发平台都有过探索和实践。
方传云,字节跳动高级工程师,目前负责数据平台“大数据开发平台”架构与性能优化。2011 年毕业于武汉大学,曾就职于 MorganStanley、Paypal 参与外汇交易系统以及大数据风控系统研发。在分布式应用开发、Spark 应用调优以及特征开发平台都有过探索和实践。
字节跳动做为一个数据驱动的公司,一直致力于让数据更高效地服务于各个业务。随着业务的不断发展,字节跳动在大数据任务开发和调度方面遇到了很多挑战。为此开发了“大数据开发和调度平台“,可以快速完成数据集成、开发、调度和运维等全套研发工作。面对公司的业务复杂性以及任务量,完成秒级延迟、复杂依赖关系的任务调度有很大的挑战。本次分享将介绍调度平台整体系统架构、大任务量高可用低延时需求带来的挑战以及实践中的经验总结。
1. 任务开发调度的背景
2. 调度系统架构解析以及现状
3. 实践中的挑战、解决方案和思考
4. 未来规划
架构师、数据开发平台工作者、对高可用调度系统有兴趣人员。