如何提升 Spark 效能并使其完整发挥硬件效能

所属专题:解析软件性能

嘉宾 : 陈韦廷 | Intel资深软件工程师

会议室 : 宴会厅3

讲师介绍

专题演讲嘉宾:陈韦廷

Intel 资深软件工程师

陈韦廷是一名英特尔资深软件工程师。他致力于大数据及云计算相关领域的解决方案达 6 年以上的时间。他的主要工作为大数据在云计算解决方案的研发,效能调优及客户的支持。目前主要专注于大数据在 Docker 及 Container 技术的研究与发展。

议题介绍

演讲:如何提升 Spark 效能并使其完整发挥硬件效能

效能永远是客户在 Spark 落地实践中的其中一个关键。在客户端,时常会有买了最好的设备,却无法释放最好的效能的情况。本演讲利用几个典型的 Spark 应用场景包括 SQL 查询(TPCx-DS)、Kmeans(HiBench)、Terasort(HiBench)针对不同硬件(CPU,记忆体,存储设备)做效能分析,搭配相对应的软件调优,增进 Spark 应用的效能。此议题重点带来 Spark 应用的效能调优及参考架构,借由软件的优化,更好的提高硬件的效能。

听众受益

  • 你将得知如何评估,监控,及收集 Spark 工作;
  • 你将了解硬件对于 Spark 工作的影响,包括英特尔平台,处理器,记忆体,及存储设备;
  • 你将得到如何设定及调整 Spark 及 Hadoop 的技巧,从而得到更好的效能发挥。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方