Druid 在字节跳动的优化与实践

所属专题:实时数据分析

嘉宾 : (1) 黄辉 | 字节跳动高级研发工程师 (2) 张云帆 | 字节跳动高级研发工程师

讲师介绍

专题演讲嘉宾:黄辉

字节跳动高级研发工程师

黄辉,负责字节跳动广告数据平台 Druid 引擎相关工作,在性能优化和应用方面都有深入的探索。曾就职于滴滴出行大数据架构部,负责 Hive 相关的工作,在 Hive 数据治理和权限管理方面都做过探索和实践。

专题演讲嘉宾:张云帆

字节跳动高级研发工程师

张云帆,字节跳动大数据架构工程师,2015 年加入字节跳动,先后负责过 ZooKeeper、Kafka、Storm、Flink 等组件的开发与优化,目前主要专注于 OLAP 方向查询优化方面的工作。

议题介绍

演讲:Druid 在字节跳动的优化与实践

如何从大量的事件中快速有效地分析数据,对决策能够起到至关重要的影响。Druid 是目前比较流行的开源 OLAP 引擎之一,国内外的很多公司都在使用。一方面,Druid 的数据导入即可实时查询,很好的满足了数据实时性需求;另一方面,在数据达到一定规模后,集群的稳定性、数据摄入性能和查询延迟都成为瓶颈。本次分享会介绍字节跳动在大规模数据场景下如何管理和优化 Druid,满足在字节跳动的需求。

内容大纲

  1. Druid 性能优化,主要包括实时数据摄入优化、查询性能优化、GC 方面的优化以及社区贡献的一些 patch;
  2. 字节跳动如何管理大规模 Druid 集群:包括集群日常部署运维、元数据治理、集群稳定性建设等; 
  3. 承接的业务场景介绍,主要介绍字节跳动使用 Druid 都处理哪些业务需求,以及遇到的问题和解决思路;
  4. Druid 实时物化视图的设计与实现,包括:物化视图在线构建 & 离线回溯、broker 查询替换、KIS publish 策略优化等 ;
  5. Druid 实时物化视图方案在字节跳动的实践,包括:在广告系统 AB Test 场景下大幅提升实时查询性能、如何解决数据倾斜和避免物化视图膨胀等。


听众受益

  • 了解 Druid 在近千台机器规模时运维 & 管理的挑战;
  • 了解 Druid 在字节跳动的业务场景;
  • 了解字节跳动为满足大规模数据场景下对 Druid 所做的一些优化以及实践。

适合人群

最好对 Druid 或者相关 OLAP 系统有一定了解。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+86-17310043226