PB 级数据秒级分析,腾讯云原生湖仓 DLC 架构揭秘

所属专题:腾讯自研业务大规模云原生实践

嘉宾 : 于华丽 | 腾讯云 大数据专家工程师

会议室 : 万富厅

讲师介绍

专题演讲嘉宾:于华丽

腾讯云 大数据专家工程师

腾讯云原生湖仓产品 DLC 内核研发负责人。毕业于复旦大学数学系,近十年公有云大数据经验,基于 AWS/阿里云/腾讯云打造业界领先的云原生湖仓数据平台,在数据湖存储、Severless 计算、统一元数据有丰富落地经验。
 

议题介绍

演讲:PB 级数据秒级分析,腾讯云原生湖仓 DLC 架构揭秘

过去几年,数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地,数据规模达到 PB 至 EB 级别。在此基础上,腾讯自研业务也启动了云原生湖仓能力建设,过程中我们发现,湖仓架构面临最大的挑战是性能问题:

  • 湖存储直接用于数仓建模分析,存算分离损失了数仓 locality;
  • 海量湖仓明细的直接分析也需要较高的性能,才能完成海量湖仓数据的价值挖掘,否则还是只能等漫长的数仓建模、历史数据回溯;
  • 弹性计算与分析性能是一对矛盾的变量,如何在降低成本、不维持大量独占计算资源的同时满足高性能也充满了挑战。

本场分享将整体介绍腾讯云原生湖仓 DLC 针对上述问题的解决之道和技术架构设计。

演讲提纲:
1. 云原生湖仓建设背景和面临的挑战

  • 数据湖、数仓、湖仓诞生背景
  • 数据湖/湖仓架构在腾讯自研业务的落地情况
  • 湖仓架构面临的性能挑战

2. 腾讯云原生湖仓 DLC 架构揭秘:如何实现 PB 级数据秒级分析

  • DLC 产品定位和数据湖解决方案介绍
  • 性能问题的破解之道:多维 Cache、多模索引、虚拟集群弹性模型等

3. 新一代湖仓架构思路:扁平湖仓架构,明细层直接高性能分析

你将获得:

  • 了解如何玩转云上大数据,构建低成本、高性能、稳定的数据业务平台
  • 掌握数据平台优化思路
  • 了解大数据计算引擎的最新动态

交通指南

广州万富希尔顿酒店

Hilton Guangzhou Baiyun
地址:广州市白云区云城东路515-517号
  • 微信咨询

  • 电话咨询

    联系电话:+86 15600537884

微信联系我们

票务经理