彭渊,现任腾讯T4专家,历任阿里资深专家,华为中间件首席架构师,淘宝高级专家等。在中国IT互联网技术领域从业多年,曾撰写多款开源软件,代表作有Fourinone(四不像)分布式核心技术框架、CoolHash并行数据库引擎等,曾出版书籍《大规模分布式系统架构与设计实战》,拥有多项软件著作权和专利。
彭渊,现任腾讯T4专家,历任阿里资深专家,华为中间件首席架构师,淘宝高级专家等。在中国IT互联网技术领域从业多年,曾撰写多款开源软件,代表作有Fourinone(四不像)分布式核心技术框架、CoolHash并行数据库引擎等,曾出版书籍《大规模分布式系统架构与设计实战》,拥有多项软件著作权和专利。
对于腾讯庞大的大数据分析业务,几千台的hadoop集群近百P级的存储总量,每日全网app产生千亿的消息数据入库,需要针对几十亿iemi手机设备去重,并关联数百亿的历史全表,进行曝光、点击、pv、uv、日活、新增、留存等统计指标分析,当前所有业务的ETL清洗、统计计算、用户画像都全部依赖离线m/r和hive sql,给集群造成很大压力,系统负载高任务积压重,计算耗时久业务响应慢(t+1),难以及时反馈市场信息的变化,不仅是技术上的巨大挑战,同时业务的迅速增长变化对当前技术团队的工作模式和流程也造成很大挑战。如何突破现有大数据分析架构瓶颈?本分享内容将带来腾讯大数据技术的新发展和架构实践,介绍基于自研bitmap技术的大数据系统“锋刃”,以及olap全新驱动模式的架构战略,真正做到秒级实时查看每分钟指标、全维度的用户olap自助分析、闭环的动态运营体系。