随着微服务架构的逐渐普及,服务的可观测性越来越被重视。Metric、Logging、Tracing 作为可观测性的三大组成部分,在腾讯各个业务场景以及合作伙伴的业务中都有非常广泛的应用。本次演讲将分享万亿甚至十万亿级的数据量级下,腾讯在云原生可观测领域的思考与实践。
演讲提纲:
1. 鉴古知今:10 年前的 QQ 是如何实现可观测的?
- QQ 后台监控体系
- 即时通信软件后台整体架构
- 消息的可靠性如何监控?
- 多终端消息一致性如何监控?
- 群消息 Pull Or Push?监控系统来出招
- 跨地域,跨机房,跨运营商的自动化收发消息探测
- Monitor 系统架构解析
2. 腾讯可观测系统发展史
- 变与不变:从单体系统监控到微服务可观测,变化在哪里
- 数据量爆发式增长:从 Schema On Read 到 Schema On Write
- 计算与存储分离:从 Map-Reduce 到实时流处理
- 协议标准化:从私有协议(模调)到开源分布式追踪协议
- 拥抱云原生:协议对齐开源 OpenTelemetry,后台架构升级
3. 海量监控数据实时处理
- 背景:云上监控数据的爆发式增长
- 接入层高可用:日均 10 万亿+数据接入层架构设计
- 快慢分离:延时数据处理
- 采样的艺术:SDK 延时采样与Flink尾部采样
- Schema On Write:级联计算性能优化
4. 可观测系统存储层架构设计
- 背景:越来越多元化的查询场景需要异构存储,单一存储无法满足功能和性能
- 统一查询协议:Query Engine 架构介绍
- 追求极致:ElasticSearch 在时序数据场景的优化
- 异构存储:Metric、Logging、Tracing多场景下的存储优化方案
5. 总结与展望
- 案例分享
- 未来的技术挑战
- 告警规则更灵活,告警检测性能要求更高
- 更大的数据规模,更高的流处理实时性要求
- 更灵活的数据查询性能(内存级时序数据库)
你将获得:
- 了解腾讯可观测系统发展历史以及未来的发展趋势
- 了解腾讯在可观测领域的技术实践
- 了解腾讯监控数据实时处理架构设计
- 了解腾讯可观测系统存储引擎架构设计