万台集群性能优化方法——MaxCompute性能优化实践

所属专题:大规模系统的性能优化

所属领域: 混沌工程

嘉宾 : 路璐 | 阿里巴巴计算平台事业部技术专家

会议室 : 第二会议厅A

讲师介绍

专题演讲嘉宾:路璐

阿里巴巴 计算平台事业部技术专家

路璐,阿里巴巴技术专家,目前主要专注MaxCompute性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。

2010年加入阿里巴巴MaxCompute的前身ODPS团队,见证了MaxCompute从跑通hello world到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在MaxCompute的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成MaxCompute第一代计算引擎。目前主要负责MaxCompute的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到MaxCompute。

议题介绍

地点:第二会议厅A
所属专题:大规模系统的性能优化
所属领域:
混沌工程

演讲:万台集群性能优化方法——MaxCompute性能优化实践

MaxCompute是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团99%的存储和95%的计算。

MaxCompute平台机器规模达到十万级,数据规模达到EB级,每天有超过300万个作业在MaxCompute平台上运行。因此对MaxCompute平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。

本次演讲将介绍MaxCompute如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍MaxCompute在性能优化方面的经验。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方