腾讯在云原生可观测领域的探索与实践

所属专题:云原生时代的可观测最佳实践

嘉宾 : 黄杰 | 腾讯技术专家

会议室 : 大宴会厅 1

讲师介绍

专题演讲嘉宾:黄杰

腾讯技术专家

目前负责腾讯云云原生监控。曾在饿了么、携程、eBao 等多家公司工作,在监控、消息系统及大数据等领域积累了丰富经验。

议题介绍

演讲:腾讯在云原生可观测领域的探索与实践

随着微服务架构的逐渐普及,服务的可观测性越来越被重视。Metric、Logging、Tracing 作为可观测性的三大组成部分,在腾讯各个业务场景以及合作伙伴的业务中都有非常广泛的应用。本次演讲将分享万亿甚至十万亿级的数据量级下,腾讯在云原生可观测领域的思考与实践。

演讲提纲:

1. 鉴古知今:10 年前的 QQ 是如何实现可观测的?

  • QQ 后台监控体系
    • 即时通信软件后台整体架构
    • 消息的可靠性如何监控?
    • 多终端消息一致性如何监控?
    • 群消息 Pull Or Push?监控系统来出招
    • 跨地域,跨机房,跨运营商的自动化收发消息探测
  • Monitor 系统架构解析

2. 腾讯可观测系统发展史

  • 变与不变:从单体系统监控到微服务可观测,变化在哪里
    • 数据量爆发式增长:从 Schema On Read 到 Schema On Write
    • 计算与存储分离:从 Map-Reduce 到实时流处理
    • 协议标准化:从私有协议(模调)到开源分布式追踪协议
  • 拥抱云原生:协议对齐开源 OpenTelemetry,后台架构升级

3. 海量监控数据实时处理

  • 背景:云上监控数据的爆发式增长
  • 接入层高可用:日均 10 万亿+数据接入层架构设计
  • 快慢分离:延时数据处理
  • 采样的艺术:SDK 延时采样与Flink尾部采样
  • Schema On Write:级联计算性能优化

4. 可观测系统存储层架构设计

  • 背景:越来越多元化的查询场景需要异构存储,单一存储无法满足功能和性能
  • 统一查询协议:Query Engine 架构介绍
  • 追求极致:ElasticSearch 在时序数据场景的优化
  • 异构存储:Metric、Logging、Tracing多场景下的存储优化方案 

5. 总结与展望

  • 案例分享
  • 未来的技术挑战
    • 告警规则更灵活,告警检测性能要求更高
    • 更大的数据规模,更高的流处理实时性要求
    • 更灵活的数据查询性能(内存级时序数据库)

你将获得:

  • 了解腾讯可观测系统发展历史以及未来的发展趋势
  • 了解腾讯在可观测领域的技术实践
  • 了解腾讯监控数据实时处理架构设计
  • 了解腾讯可观测系统存储引擎架构设计

交通指南

北京·四季酒店

Beijing International Convention Center
地址:北京市朝阳区亮马桥路48号
  • 微信咨询

  • 电话咨询

    联系电话:+86 15600537884

微信联系我们

小姐姐