专题演讲嘉宾:史少锋

DatastratoVP of engineering

史少锋,Datastrato VP of engineering,Apache 会员, Apache Incubator PMC, Mentor of Apache Gravitino, Gluten, HoraeDB 等多个项目;专注于大数据分析和云计算技术。曾任 eBay 全球分析基础架构部大数据高级工程师,IBM 云计算部门架构师等。

by 史少锋

Datastrato
VP of engineering

Lakehouse 架构在当下已经获得多数企业的认可,得到广泛采纳;为了满足不同场景,企业会引入多种 Lakehouse 架构(如历史数据、实时数据),以及多引擎(如处理引擎、分析引擎)等。企业在采用多 Lakehouse 后,往往面临一些挑战,如:

  • 如何实现多 Lakehouse 中数据的发现和共享,让应用、引擎以统一的方式接入;
  • 如何实现多 Lakehouse 的统一管理和治理,使用方式不一致导致的数据治理问题等。

对此,基于标准协议的 Rest Catalog 以及支持多引擎的统一元数据服务,可以帮助企业统一管理 Lakehouse,解决上面提到的问题,此次分享将为您带来以上方面的最佳实践。

演讲提纲

1. Lakehouse 架构背景

  • 什么是 Lakehouse 架构
  • Lakehouse 的核心优势:数据湖与数据仓库的结合
  • Lakehouse 在企业中的典型应用场景

2. 多 Lakehouse 趋势

  • 企业为何需要多 Lakehouse
  • 多 Lakehouse 的典型架构模式
  • 多 Lakehouse 带来的机遇与挑战

3. 多 Lakehouse 治理挑战

  • 数据发现与共享难题
  • 统一管理与治理困境
  • 实际案例:企业面临的具体问题

4. 什么是统一元数据湖

  • 统一元数据湖的定义与核心价值
  • 统一元数据湖的关键特性
  • 统一元数据湖与传统元数据管理的对比

5. 基于统一元数据湖的 Lakehouse 架构

  • 架构设计原则
  • 技术实现
  • 实际应用案例

6. 未来展望

您认为,这样的技术在实践过程中有哪些痛点?

  • 协议适配问题:尽管基于标准协议的 Rest Catalog 是核心优势之一,但在实际企业环境中,不同的 Lakehouse 架构可能是在不同时期、由不同供应商构建的。这些系统可能对标准协议的支持程度参差不齐,存在部分功能无法完全适配 Rest Catalog 的情况。
  • 企业中可能同时存在多种处理引擎和分析引擎,这些引擎对元数据的理解和使用方式存在差异。统一元数据湖服务要支持多引擎,就需要针对每种引擎的特点进行定制化开发。

演讲亮点

  • 介绍基于标准协议的 Rest Catalog 及其在多 Lakehouse 环境中的技术优势,展示统一元数据湖
  • 如何实现跨平台、跨引擎的数据管理。
  • 分享如何通过统一元数据湖解决多 Lakehouse 环境中的数据发现、共享和治理难题,提供可落地的解决方案和实际案例。
  • 探讨统一元数据湖在数据架构中的未来发展方向,为企业提供战略性的技术选型建议。

听众收益

  • 掌握多 Lakehouse 治理的关键挑战与解决方案
  • 学习统一元数据湖的核心技术与实践
  • 获取可落地的数据治理最佳实践

交通指南

北京石景山万达嘉华酒店

Wanda Jin
地址:北京市石景山区石景山路甲18号院
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手