专题演讲嘉宾:耿直

满帮集团技术平台部/高级总监

参与满帮融合端到端技术架构设计与项目推进,涉及30多个团队,300多人,最终实现业务不停摆,系统不停机。主导满帮稳定性保障体系技术架构与实现,含端到端一站式监控治理平台,全链路灰度发布,线上压测与故障演练等。

by 耿直

满帮集团
技术平台部/高级总监

满帮App属于公路物流生产工具,对稳定性要求极高。目前处于快速的业务试错期,App周度发版,每个迭代周期只有“2天研发+1天联调+1天测试+1天打包发布”的时间,节奏非常紧张,系统变更带来的故障频发。因而建立全链路灰度发布,线上压测,实现Q度0故障;变更事件流,全网端到端一站式监控告警,无侵入日志框架辅助问题分钟级定位。

当然,这其中涉及到一些技术难点,例如:

  1. 实现全链路灰度不仅仅是流量分发的问题,还包含MQ、回调函数、配置中心等等相关灰度能力支撑的问题,做到真全链路不是一件容易的事。
  2. 微服务有较复杂的依赖关系,假设我们有三个应用顺序依赖A->B->C,其中A和C在一次需求中要求流量绑定灰度,如何解决调度问题?
  3. 有了灰度只解决问题控制在小部分用户,但问题定位通常依赖详细的系统日志,如何做好日志规范,内容,权衡问题定位效率与存储成本。

最终业务收益:

  1. 监控系统数据涵盖移动端,服务端,中间件,物理资源,问题分钟级发现。
  2. 无P1,P2故障,问题控制在5%以下用户,秒级回滚。
  3. 详细的日志支撑业务研发团队定位大多数问题无障碍。

本次演讲的核心重点是,介绍满帮稳定性保障体系核心系统以及建设思路并分享全链路灰度发布设计细节。

演讲提纲:

  1. 如何确定保障系统稳定需要做的事项
  2. 满帮稳定性保障体系系统架构拆解:
    • 问题预防:线上压测体系、故障演练平台
    • 问题发现:全网变更事件大盘、全网一站式监控告警平台
    • 止损 & 恢复:全链路灰度发布
  3. 全链路灰度发布实现细节
  4. 未来规划

听众受益点:

  1. 稳定性保障系统能力建设的整体思路
  2. 全链路灰度发布的实现思路
  3. 制定日志规范保证问题定位效率的同时尽可能节省成本

交通指南

上海宝华万豪酒店

PRIMUS Hotel Shanghai Hongqiao
地址:上海市静安区广中西路 333 号
  • 微信咨询

  • 电话咨询

    联系电话:+86 17310043226

微信联系我们

小姐姐 Ring