eBay使用MPP数据仓库已经有二十年的历史，我们的系统有60PB的数据，上万张的核心表，他们支撑着eBay最核心的商务逻辑和站点功能。从17年开始，eBay将这个庞大的数仓向Spark做迁移，使用我们开发的工具，这其中90%的工作都可以自动化地完成，并且通过优化Spark框架，我们节省了一半的内存。本次演讲我们将分享这迁移过程中的实践，经验与优化。

听众受益

• 自动化数据迁移工具集：元数据管理，SQL转换器，管道生成器，数据验证，工作流控制等；
• 数据的物理布局：如何对表做bucket和partition；
• 使用Spark的Adaptive Execution简化参数配置，优化内存使用，处理数据倾斜；
• 使用Spark的Indexed Bucket提升大量核心表的查询性能。