在支撑 bilibili 亿级用户的复杂分布式系统中,一次故障可能涉及数百个微服务的连锁反应。传统的人工排查方式面临着"大海捞针"的困境,平均 MTTR 往往在小时级别。而 AI 技术的突破为这一问题带来了全新解法。我们构建了智能化根因分析系统,实现了从"被动响应"到"主动诊断"的转变,将工程师从重复性排查工作中解放出来。本次分享我将深入剖析 bilibili 在 AI 驱动的智能运维领域的核心技术实践,包括多模态数据融合、知识图谱构建、大模型推理优化等关键技术,为听众提供可落地的 AI + 可观测性解决方案。
演讲提纲
1. 从"人肉排查"到"AI诊断":bilibili 的痛点与机遇
- 亿级用户背景下的故障挑战:复杂度指数级增长
- 传统根因分析的三大瓶颈:时间成本、准确率、知识传承
- AI 技术带来的机遇:数据驱动 + 智能推理
2. 根因分析核心架构和演进思路
- 多模态数据融合:日志、指标、链路、事件的统一建模
- 知识图谱构建:从历史案例到智能推理规则
- 大模型应用:自然语言处理 + 时序分析的深度融合
- 数据提纯:清洗、对齐、增强 —— 打造高信噪比的诊断燃料
- 模型迭代:动态调整推理边界,让 AI 学会“灰度思考”
- 工单即训练集:每一次人工复盘都是模型的进化机会
- 自生长的知识库:诊断结果自动沉淀为可复用的解决方案
3. 核心场景的 AI 化改造实践
- 视频播放异常:从告警到根因定位的 3 分钟闭环
- 推荐系统降级:多组件级联故障的智能溯源
- 局部流量暴增:多元数据联动诊断
- 数据库性能:SQL 慢查询的智能优化建设
4. 技术演进方向与实践展望
- 场景覆盖的扩展:降低用户领域知识到根因模型的转化门槛
- 准确率的持续提升:从问题定界向精准定根因的技术深化
- AI 能力的平台化:构建可复制、可扩展的智能诊断体系
您认为,这样的技术在实践过程中有哪些痛点?
- 特定业务逻辑场景覆盖不足(如风控限流导致互动主播无法查看到观众弹幕)
- 定制化业务规则适配成本较高(需人工配置策略,购买任务配置过期)
- 复杂业务场景的根因定位准确率待提升(典型如联合会员兑换未到账问题)
演讲亮点
- 通过建立业务场景模型与底层多模态数据的深度关联,实现了从业务指标异常(如流量下跌)到系统组件(如风险控制模块)、基础设施(如 IP 发布策略)的全链路根因追溯能力。这种端到端的关联分析有效解决了传统监控中"指标孤岛"问题,使故障定位时间缩短 60% 以上
- 将传统权重分析升级为基于知识图谱的因果推理模型,通过细粒度条件过滤机制(如结合发布时间窗口、IP 批次等维度),实现了多维因子交叉影响的自动化分析。实际测试表明,该方法使误报率降低 45%,准确率提升至 92%
听众收益
- 系统性理解分布式场景下的根因分析挑战
- 掌握复杂系统中根因定位的典型难点(如微服务间非线性交互、数据割裂、术语差异等),明确从“表象告警”到“真实根因”的推理障碍
- 学习如何通过多源数据融合(日志、指标、链路等)和知识库构建解决信息缺失与噪声问题
- 获得可落地的根因分析方法论与实践经验
- 了解从告警触发到自动化归因的完整演进路径,包括模型优化(如边界条件细化)、案例沉淀(工单联动生成知识库)等关键步骤
- 直接复用分享中的典型场景解决方案(如 SLA 异常、MySQL 慢查询突增),快速定位类似问题(如资源争抢、发布故障)