现担任苏宁 OLAP 平台负责人,拥有 10 年以上相关领域经验,对多项大数据技术有着广泛使用经验和深刻的理解。目前负责苏宁 OLAP 引擎,Druid,ES 等大数据组件,主导并推进苏宁统一的基于 SQL 的 OLAP 引擎,Druid 服务化平台,ES 服务化平台的建设,极大的提升各项指标数据的开发时间,减少各项人力和硬件成本。
现担任苏宁 OLAP 平台负责人,拥有 10 年以上相关领域经验,对多项大数据技术有着广泛使用经验和深刻的理解。目前负责苏宁 OLAP 引擎,Druid,ES 等大数据组件,主导并推进苏宁统一的基于 SQL 的 OLAP 引擎,Druid 服务化平台,ES 服务化平台的建设,极大的提升各项指标数据的开发时间,减少各项人力和硬件成本。
对于海量大数据进行即时的多维分析,没有任何银弹。为解决苏宁复杂业务场景下的通用指标分析查询场景,我们结合各项大数据技术建立苏宁 OLAP 引擎。支持单模型百亿条 TB 级别数据的实时汇总分析和明细查询,在建设过程中,也遇到了各种各样的挑战。
如何将复杂业务场景抽象化,提供平台级能力支持,如何通过统一的 SQL 引擎来实现各种类型数据的统一查询;对于通用服务计算框架无法解决的问题,如何通过定制化实现来解决;对于通用查询引擎无法满足响应时间的场景,如何通过预计算方式来实现;如何通过 Cost 模型来对服务进行分级和隔离等等。本次深度揭秘苏宁建设 OLAP 引擎过程中如何运用各项技术解决问题的方案,以及过程中遇到的坑和优化方法。
1、苏宁 OLAP 引擎概况;
2、OLAP 引擎架构;
3、特定业务解决方案;
4、技术挑战;
5、未来规划。