Fluss 湖流一体:Lakehouse 架构实时化演进

所属专题:Lakehouse 架构演进

嘉宾 : 罗宇侠 | 阿里云高级开发工程师

会议室 : 北京厅1

讲师介绍

专题演讲嘉宾:罗宇侠

阿里云高级开发工程师

阿里云智能高级开发工程师,Apache Flink Committer,早期致力于 Flink 与 Hive 生态以及数据湖生态的集成。目前专注于流存储 Fluss 项目,负责湖流一体的研发工作。

议题介绍

演讲:Fluss 湖流一体:Lakehouse 架构实时化演进

湖仓一体 Lakehouse 凭借其开放性和成本效益,已经成为当今数据平台的主流架构。然而在 LakeHouse 架构下,数据的时效性最多只能达到分钟级。为了满足企业对实时数据分析的需求,通常需要额外引入秒级延迟的流存储(如 Kafka)。流存储游离在 LakeHouse 架构外,带来的成本、一致性、治理等问题都面临很大的挑战。

本次演讲将探讨流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战,以及目前业界在融合两者上的趋势。然后会介绍流存储 Fluss 如何完美地融入进 LakeHouse 架构,无缝地将 LakeHouse 架构进行实时化改造,深度解析其技术架构和原理,分析该架构相比割裂地使用流存储和 LakeHouse 架构能带来的收益。最后将分享基于 Fluss 来构建实时 LakeHouse 架构的最佳实践,希望能给听众带来一些帮助。

演讲提纲

1. 湖流割裂的现状和挑战

  • LakeHouse 架构下,流存储与湖存储割裂的现状
  • 流存储与湖存储割裂面临的挑战

2. 湖流融合的业界趋势

  • 业界在流批融合方向上的趋势
  • 业界在流批融合方向上提出的解决方案

3. Fluss 湖流一体架构和技术原理

  • Fluss 湖流一体的架构设计
  • Fluss 湖流一体的技术原理解析

4. 基于 Fluss 构建实时 Lakehouse 

  • 结合湖格式 Paimon,分析 Fluss 构建实时 Lakehouse 的收益
  • Fluss 构建实时 Lakehouse 最佳实践

5. Demo 演示 & 未来规划

  • Demo 展示 Fluss 湖流一体的能力
  • Fluss 在湖流一体方向的未来规划

您认为,这样的技术在实践过程中有哪些痛点?

  • 不可避免依然需要引入提供秒级延迟的流存储
  • Fluss 同步到湖存储的 Service 依然需要管理

演讲亮点

  • LakeHouse 架构在实时化方向上的演进趋势
  • Fluss 作为面向实时分析设计的流存储,如何无缝融合进 LakeHouse 架构,满足数据分析的实时化需求

听众收益

  • 了解当前 LakeHouse 架构在数据时效性上的痛点
  • Fluss 的湖流一体架构是如何解决 LakeHouse 架构时效性上的痛点的 
  • 收获基于 Fluss 来构建实时 LakeHouse 架构的最佳实践

交通指南

北京石景山万达嘉华酒店

Wanda Jin
地址:北京市石景山区石景山路甲18号院
  • 微信咨询

  • 电话咨询

    联系电话:+86 18514549229

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手