专题演讲嘉宾:孙建业

作业帮大数据平台架构负责人

曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。

by 孙建业

作业帮
大数据平台架构负责人

随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。

演讲提纲:

  1. 现有架构的挑战
    • 作业帮现有数据架构
    • 架构缺陷及历史问题
  2. Iceberg 介绍
    • 元数据结构&特性
  3. 湖仓整体架构
    • 典型场景
    • 架构方案
  4. 湖仓实践
    • 采集入湖实践
    • 离线计算实践
  5. 展望和不足

听众收益点:

  • 作业帮的业务场景及可复制的湖仓架构设计;
  • HIVE 到 Iceberg 迁移及 Iceberg 应用实践;

交通指南

上海中优城市万豪酒店

Shanghai Marriott Hotel Pudong South
地址:上海市浦东新区沪南公路7688弄上海中优城市广场1号楼1楼
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小姐姐