SnappyData在美团酒店实时数据分析中的应用

所属专题:新兴大数据处理技术

所属领域: 大数据

嘉宾 : 焦向 | 美团点评高级技术专家,酒店经营效率组负责人

会议室 : 203CD

讲师介绍

专题演讲嘉宾:焦向

美团点评 高级技术专家,酒店经营效率组负责人

焦向,2015年加入美团点评,现为美团酒店经营效率组负责人,曾负责美团平台推荐系统架构。先前就职于百度,主要做分布式缓存,是社区第三代Redis集群化方案的设计者和主要实现者,支持了包括贴吧、手百在内的多个产品,有丰富的分布式存储理论和实践经验;工作之余,对编程语言基础理论、编译器优化、机器学习都有浓厚兴趣和一定深入。

议题介绍

地点:203CD
所属专题:新兴大数据处理技术
所属领域:
大数据

演讲:SnappyData在美团酒店实时数据分析中的应用

以Flink和SnappyData为核心,将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案,转化为目前以“后处理”为核心的方案。

  1. 开发效率:得到质变,无需预处理,周级别需求小时级完成。
  2. 节省存储空间:比如原方案Kylin中150T+预处理结果数据不再需要。
  3. 其他一些收益:比如指标一致性显著提升。
  4. 历史数据问题:采用类SCD Type 2的方式,处理历史事实数据和数据压缩,有不少对比数据。
  5. 建模问题:直接从原始表支持需求,中间缺少传统数仓建模的抽象层次,尝试实现类似Shasta的RVL层。

介绍SnappyData的优势劣势,当前的问题,我们在调优方面的努力,以及我们的定制化修改:

  1. 支持注册Spark声明式UDF,相比于命令式UDF,性能提升一个量级,很好的解决了酒店的特殊场景;
  2. Boxing/Unboxing优化;
  3. QueryPlan Cache相关的优化。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方