斯文骏,阿里巴巴计算平台事业部技术专家,硕士研究生毕业后加入阿里巴巴,先后参与机器学习平台和 PyODPS 开发,2017 年参与启动 Mars 开发,为 Mars 分布式引擎主要开发者。
斯文骏,阿里巴巴计算平台事业部技术专家,硕士研究生毕业后加入阿里巴巴,先后参与机器学习平台和 PyODPS 开发,2017 年参与启动 Mars 开发,为 Mars 分布式引擎主要开发者。
随着数据规模的不断扩大和应用领域的不断拓展,当下的数据科学家和工程师不再满足于传统的分析方法和工具。Python 生态在数据领域的不断拓展也使得数据分析中对兼容 Python 生态工具的需求变得愈发强烈。Mars 正是为这一需求而开发的,试图兼容 Numpy 和 Pandas 的大规模张量计算系统,并已在若干个场景中落地。在本次分享中,我们将基于 Mars 以往的实践介绍系统架构和提升执行效率方面的实践。
1. 了解 Mars 如何建模大规模张量计算问题并拆解为分布式执行;
2. 了解 Mars 如何使用 Python 构建分布式调度系统;
3. 了解细粒度张量计算图调度中可能遇到的问题及其对策;
4. 了解 Mars 的应用范围和未来的发展方向。