腾讯 T4 专家,Spark 早期的研究者和布道者,对分布式计算和机器学习,有独到的经验和研究。目前于数据平台部担任海量计算组 Leader,负责构建大规模分布式计算和机器学习平台,助力腾讯各大数据和机器学习业务快速发展。
在人工智能时代,高性能的机器学习有着非常重要的意义。而 Spark 的机器学习,受限于 Driver 的 BroadCast 性能和 RDD 的 Immutable 特性,在面对高维度和复杂的机器学习算法时,会受到诸多的束缚和约束,难以写出高性能而简洁的代码。为此,基于 Angel(腾讯开源的参数服务器框架)的 Spark on Angel,让 Spark 可以高效的基于 PS 模型,开发出高效而简洁的机器学习算法,加快业务发展。