LakeHouse 的兴起,意味着数据价值的新时代即将来临。
... 展开 >




就职于字节跳动(上海),现负责数据引擎团队。团队负责以 SparkSQL、Presto 为代表的大数据引擎优化,以及基于 Hudi 的批流一体实时数据湖平台研发。同时负责火山引擎上的湖仓一体数据分析服务 LAS(LakeHouse Analytics Service)。
LakeHouse 的兴起,意味着数据价值的新时代即将来临。
数据的价值是帮助决策。面对快速变化的市场状态和用户行为模式,还有决策类型的需求和爆炸式增长的数据量,如何基于持续产生的数据尽快的做出高质量的决策已经是不得不面对的挑战。PayPal 在对每一位用户的每一次交互行为都会需要不同类型的实时业务决策,而近实时数据流式计算分析处理平台在技术上为此提供了高可用、大吞吐量、可扩展的数据处理能力,以满足 PayPal 不同业务的多样需求。
演讲提纲:
1. 高质量决策系统的应用场景与挑战
2. 流式计算平台在 AI 系统中的设计与实践
3. 总结与展望
你将获得:
分享数据仓库和对象存储碰撞产生数据湖的细节,并讨论新趋势和技术演进过程。然后,分析行业关键需求和核心技术,以及介绍阿里云数据湖的解决之道。最后,探讨云原生数据湖的技术组成和行业应用实践。
演讲提纲:
1. 数据仓库和对象存储的碰撞产生数据湖
2. 数据湖的关键需求和技术
3.云原生数据湖已成燎原之势
你将获得:
随着云计算技术的飞速发展和日益成熟,大数据分析的系统架构也朝着云原生的方向逐步演进。利用云技术的便携,弹性,高性能特点,大数据分析完成了从开源 Hadoop 的存算一体,到基于云存储的存算分离分析模式升级,再到云原生数据湖和湖仓一体的 LakeHouse 分析架构升级,以此来帮助企业和客户使用较低的资源成本,充分挖掘数据的价值。对象存储作为云原生数据湖的存储底座,在 LakeHouse 架构体系中扮演着重要的角色。本次将从实践出发,分享腾讯云存储团队在面临 Lakehouse 的数据湖架构演进过程,所面临的一些关键存储挑战,介绍的腾讯云如何用先进的存储架构和技术,来满足数据湖海量高可靠低成本的要求,如何利用三级数据加速体系,满足高性能大数据分析场景。在实际落地方面,也会分享腾讯云在云原生数据湖实践中的优秀案例。
演讲提纲:
1. 背景和挑战
云时代的大数据分析架构演进
LakeHouse 架构下的云存储面临的挑战
2. 腾讯云存储关键技术分享
腾讯云存储如何做海量高可靠低成本
腾讯云存储 YottaStore 架构
腾讯云存储 YottaStore 核心技术
腾讯云存储三级加速体系介绍
GooseFS 缓存加速
元数据加速
AZ 加速
腾讯云存储多协议访问和安全体系介绍
3. 总结和思考
你将获得:
了解云厂商对云原生数据湖的理解和实践架构
了解腾讯云在云原生数据湖的关键技术和具体实践案例



微信咨询

电话咨询
领取往期热门演讲视频

