Lakehouse 架构在当下已经获得多数企业的认可,得到广泛采纳;为了满足不同场景,企业会引入多种 Lakehouse 架构(如历史数据、实时数据),以及多引擎(如处理引擎、分析引擎)等。企业在采用多 Lakehouse 后,往往面临一些挑战,如:
- 如何实现多 Lakehouse 中数据的发现和共享,让应用、引擎以统一的方式接入;
- 如何实现多 Lakehouse 的统一管理和治理,使用方式不一致导致的数据治理问题等。
对此,基于标准协议的 Rest Catalog 以及支持多引擎的统一元数据服务,可以帮助企业统一管理 Lakehouse,解决上面提到的问题,此次分享将为您带来以上方面的最佳实践。
演讲提纲
1. Lakehouse 架构背景
- 什么是 Lakehouse 架构
- Lakehouse 的核心优势:数据湖与数据仓库的结合
- Lakehouse 在企业中的典型应用场景
2. 多 Lakehouse 趋势
- 企业为何需要多 Lakehouse
- 多 Lakehouse 的典型架构模式
- 多 Lakehouse 带来的机遇与挑战
3. 多 Lakehouse 治理挑战
- 数据发现与共享难题
- 统一管理与治理困境
- 实际案例:企业面临的具体问题
4. 什么是统一元数据湖
- 统一元数据湖的定义与核心价值
- 统一元数据湖的关键特性
- 统一元数据湖与传统元数据管理的对比
5. 基于统一元数据湖的 Lakehouse 架构
6. 未来展望
您认为,这样的技术在实践过程中有哪些痛点?
- 协议适配问题:尽管基于标准协议的 Rest Catalog 是核心优势之一,但在实际企业环境中,不同的 Lakehouse 架构可能是在不同时期、由不同供应商构建的。这些系统可能对标准协议的支持程度参差不齐,存在部分功能无法完全适配 Rest Catalog 的情况。
- 企业中可能同时存在多种处理引擎和分析引擎,这些引擎对元数据的理解和使用方式存在差异。统一元数据湖服务要支持多引擎,就需要针对每种引擎的特点进行定制化开发。
演讲亮点
- 介绍基于标准协议的 Rest Catalog 及其在多 Lakehouse 环境中的技术优势,展示统一元数据湖
- 如何实现跨平台、跨引擎的数据管理。
- 分享如何通过统一元数据湖解决多 Lakehouse 环境中的数据发现、共享和治理难题,提供可落地的解决方案和实际案例。
- 探讨统一元数据湖在数据架构中的未来发展方向,为企业提供战略性的技术选型建议。
听众收益
- 掌握多 Lakehouse 治理的关键挑战与解决方案
- 学习统一元数据湖的核心技术与实践
- 获取可落地的数据治理最佳实践