腾讯万亿实时分析引擎 Hermes 的实现与应用

所属专题:大数据实时计算与分析

嘉宾 : 吴中波 | 腾讯大数据专家工程师

会议室 : 201CD

讲师介绍

专题演讲嘉宾:吴中波

腾讯大数据专家工程师

毕业于中国科学技术大学,毕业后就职于腾讯公司数据平台部,工作以来参与腾讯大数据产品 TBDS、InLong、Hermes、智慧零售等项目的研发工作;目前主要负责腾讯自研实时多维分析引擎 Hermes 的架构与研发工作,致力于 Hermes 组件在腾讯广告的实时 OLAP 分析,微信、QQ 用户画像系统,海量日志分析平台等应用场景的落地实施。

议题介绍

演讲:腾讯万亿实时分析引擎 Hermes 的实现与应用

Hermes 是腾讯数据平台部自研的实时分析平台,在公司内服务于上百个业务,集群规模 5000 个节点,每日数据接入量 4 万亿,查询量千万级别。作为一个公共的平台,面对的业务场景非常复杂,包括在线高并发分析、即席交互分析、海量日志分析、实时接入数据和近实时增量更新。

本次分享将介绍 Hermes 的索引与列存结构、动态的资源管控和调度策略、内存复用和计算优化技术、自动化的运营体系,以在一个平台支持多种业务和混合负载的场景。

演讲提纲:

  1. 多样性的业务场景
    • 典型应用场景
    • 相比通用解决方案的差异化能力
  2. 技术架构
    • 系统基础架构
    • 关键技术解析:索引与列存结构、资源管控和调度、内存复用和计算优化
    • 应用案例介绍
  3. 未来展望 

你将获得:

  1. 高性能实时分析系统的底层技术实现原理
  2. 海量数据和大规模集群的实时分析平台的运营经验

交通指南

北京国际会议中心

Beijing International Convention Center
地址:北京市朝阳区北辰东路7号
  • 微信咨询

  • 电话咨询

    联系电话:+86 17310043226

微信联系我们

小姐姐