陈韦廷是一名英特尔资深软件工程师。他致力于大数据及云计算相关领域的解决方案达 6 年以上的时间。他的主要工作为大数据在云计算解决方案的研发,效能调优及客户的支持。目前主要专注于大数据在 Docker 及 Container 技术的研究与发展。
效能永远是客户在 Spark 落地实践中的其中一个关键。在客户端,时常会有买了最好的设备,却无法释放最好的效能的情况。本演讲利用几个典型的 Spark 应用场景包括 SQL 查询(TPCx-DS)、Kmeans(HiBench)、Terasort(HiBench)针对不同硬件(CPU,记忆体,存储设备)做效能分析,搭配相对应的软件调优,增进 Spark 应用的效能。此议题重点带来 Spark 应用的效能调优及参考架构,借由软件的优化,更好的提高硬件的效能。