云上海量结构化数据中台的建设

所属专题:中台决策与实践

嘉宾 : 朱晓然 | 阿里巴巴基础产品事业部/高级技术专家

会议室 : 百宴厅2

讲师介绍

专题演讲嘉宾:朱晓然

阿里巴巴基础产品事业部/高级技术专家

毕业后参加微软私有云存储 AzureStack 存储引擎、管控等各类模块的研发工作。加入阿里云后负责阿里云表格存储产品的核心研发,目前负责上海团队,专注于存储引擎、大数据存储整合等相关功能的开发和设计。参与多个集团内部大型项目基于表格存储的架构设计,并帮助业务顺利上线。

议题介绍

演讲:云上海量结构化数据中台的建设

在云上每天会产生海量的结构化数据,例如机器的监控指标,云服务的订单,这些结构化的数据每时每刻都在产出,峰值的读写压力可以达到数千万 TPS,如何高效低成本的存储这些数据呢?对于业务来说,满足数据基础的存储需求之外,如何提供实时的分析能力,基于分析结果发现潜在监控异常或者是订单增长趋势呢?这些读写,实时分析能力都是数据中台需要必备的能力。

对于阿里云来说,存储计算分离架构下的云原生结构化数据存储引擎满足这些多样化的存储和计算需求的方法是什么?在高吞吐写入存储这些数据的同时,实现数据的实时计算和交互分析查询又是如何完成的?随着数据的积累,如何进行存储分层?降低成本诉求的同时,如何满足历史数据离线分析?

本次演讲将介绍全新的云上 Lambda 架构,分享阿里云的结构化存储引擎解决这些问题的方法,并打造出具有独特优势的云上大数据存储分析架构。

演讲提纲:

  1. 业务发展对数据中台提出的新的需求和挑战,结合开源架构和业务场景分析结构化存储需要提供哪些能力:
    • 海量数据实时存储
    • 海量数据实时计算
    • 计算结果交互分析
    • 全量历史数据离线分析
  2. 阿里云自研结构化数据存储引擎在支撑数据中台需求的产品迭代思考:
    • 云上流批一体 Lambda 架构
    • Tablestore CDC 设计和思考
    • Tablestore CDC 对接流计算
    • MPP 引擎对接 Tablestore
    • 行列混合交互分析能力
    • 基于 Data Lake 数据分层架构
    • 云上结合 OSS 的数据分层方案
    • Delta Lake 演进
  3. 结构化存储数据中台在阿里的业务效果:
    • 业务数据下沉至数据中台,由中台提供统一的存储
    • 中台承载大流量复杂查询和分析,以及无限制的存储
    • 存储计算分离架构,流批一体存储,让计算的灵活度大大加强
    • 线上业务数据规模
  4. 未来的探索
    • 统一 SQL 查询
    • 结构化大数据架构的演进趋势看未来
    • 结合 Lambda、Kappa、Lambda plus 以及 Data Lake

听众受益点:

  1. 数据中台的云上架构和核心能力
  2. 云上大数据架构细节
  3. 存储引擎的设计思路
  4. 阿里内部数据中台的实践

交通指南

上海宝华万豪酒店

PRIMUS Hotel Shanghai Hongqiao
地址:上海市静安区广中西路 333 号
  • 微信咨询

  • 电话咨询

    联系电话:+86 17310043226

微信联系我们

小姐姐 Ring