Apache Ozone: 下一代开源大数据存储及应用实践

所属专题:实时数据分析

嘉宾 : 陈怡 | 腾讯高级工程师

讲师介绍

专题演讲嘉宾:陈怡

腾讯高级工程师

陈怡,腾讯大数据工程师, Apache Hadoop Committer 和 PMC member, 专注于大数据存储领域。目前参与 Apache Ozone 的社区开发,腾讯 Ozone 项目的主要负责人。

议题介绍

演讲:Apache Ozone: 下一代开源大数据存储及应用实践

Apache Ozone 是 Hadoop 社区最近两年新崛起的大数据存储项目,提供数据强一致性的分布式对象存储服务,以及在此基础上兼容 Hadoop 文件系统接口的文件服务,旨在解决 HDFS NN 扩展性上限问题,和提供大数据生态原生的对象存储实现。本次主题将主要介绍 Ozone 的构架和功能,分享 Ozone 和 Iceberg 相结合的一些实践经验。

内容大纲

1. Hadoop 社区为什么要发起一个全新的存储项目?Ozone 的架构是怎么样的?

  • 项目发起初衷
  • 架构介绍

2. Ozone 有哪些主要的功能?除了大数据场景,能用在云原生的 Kubernetes 生态吗?

  • 主要功能介绍
  • 社区开发现状
  • 典型使用场景,包括大数据和云原生场景

3. 目前在实时数仓和数据湖中,涌现出全新的表格式 Databricks Delta、Apache Iceberg 和 Apache Hudi。作为数据最终的存储,Ozone 能否无缝对接新兴的表格式?以 Iceberg 为例,在此分享一些探索和实践的经验。

  • 为何选择 Iceberg?
  • Ozone 和 Iceberg 结合,遇到了哪些问题,是怎么解决的,效果如何?
  • 展望 Ozone 对其他表格式的支持。

听众受益:

1. 了解 Ozone 项目的发起初衷,架构和主要功能;

2. 了解 Ozone 的典型应用场景;

3. 了解 Ozone 对于新兴表格式的支持。

适合人群

1. 对大数据存储比较感兴趣的人群,同时对当前的大数据存储有一定的了解;

2. 对实时计算有了解的人群,同时希望了解实时计算对接的存储。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+86-17310043226