腾讯万亿实时分析引擎 Hermes 的实现与应用

所属专题:大数据实时计算与分析

嘉宾 : 邓启斌 | 腾讯高级后台开发工程师

讲师介绍

专题演讲嘉宾:邓启斌

腾讯高级后台开发工程师

邓启斌(kewndeng),腾讯高级后台开发工程师,主导并负责了海量日志存储平台、智慧零售搜索引擎、Hermes 实时分析平台,目前聚焦于腾讯广告的实时 OLAP 分析,助力业务场景落地,提升数据分析的效率。 

议题介绍

演讲:腾讯万亿实时分析引擎 Hermes 的实现与应用

Hermes 是腾讯数据平台部自研的实时分析平台,在公司内服务于上百个业务,集群规模 5000 个节点,每日数据接入量 4万亿。作为一个公共的平台,面对的业务场景非常复杂,包括在线高并发分析、即席交互分析、海量日志分析、数据增量更新。本次分享将介绍 Hermes 的索引与列存结构、动态的资源管控和调度策略、自动化的运营体系,以在一个平台支持多种业务和混合负载的场景。

内容大纲

1.多样性的业务场景

  • 典型应用场景
  • 通用解决方案的痛点

2.技术架构

  • 系统基础架构
  • 关键技术解析:索引与列存结构、动态的资源管控和调度策略、在线服务的 SLA 保障机制
  • 自动化运营

3.未来展望 

 

听众收益

  1. 高性能实时分析系统的底层技术实现原理
  2. 海量数据和大规模集群的实时分析平台的运营经验

适合人群

  1. 关注实时分析、OLAP 底层实现的开发人员
  2. 从事实时数仓、数据产品的架构人员

交通指南

中国石油科技交流中心

Beijing International Convention Center
地址:北京市昌平区沙河镇黄河北街一号院石油科技交流中心
  • 微信咨询

  • 电话咨询

    联系电话:+86 17310043226

微信联系我们

小姐姐 Ring