堵俊平,腾讯大数据海量计算,存储以及数据湖技术负责人, 专家研究员,腾讯开源联盟(TOSA)主席,Apache 开源基金会 Member, Apache Hadoop 项目 Committer 和 PMC。
专访堵俊平:《数据湖,大数据的下一个变革!》
堵俊平,腾讯大数据海量计算,存储以及数据湖技术负责人, 专家研究员,腾讯开源联盟(TOSA)主席,Apache 开源基金会 Member, Apache Hadoop 项目 Committer 和 PMC。
专访堵俊平:《数据湖,大数据的下一个变革!》
Hadoop HDFS 作为业界标准的大数据存储方案,在经历了 10 余年的发展之后,在新场景下也面临不少的挑战,例如缺乏对海量小文件以及对象存储接口的支持,从而限制到了在云平台以及机器学习场景下的应用。OZone 是 Hadoop 社区重点投入开发的下一代存储引擎,它不仅可以很好的支持对象存储接口以及海量小文件,还可以和大数据计算引擎做无缝的结合,并有 Data Locality 机制等保证。在本次分享中,我们将介绍 Ozone 的架构,技术,场景以及腾讯大数据的实践。
1. 理解 Hadoop HDFS 在新时代新场景下的挑战,以及应对策略;
2. 明确 Ozone 的基本原理,架构,技术以及部分实现细节;
3. 了解在真实的生产/测试环境下,Ozone 的表现与行为特征;
4. 揭示 Ozone 乃至数据湖存储未来发展的方向。