专题演讲嘉宾：刘凯宁

AI 正快速进入 SRE 各环节，但"给 RCA 加一个AI"并不等于真正的智能定位。一次故障的根因排查，往往要跨多个平台取数、人工串联调用链、跨团队协同，慢且容易判错；而生产环境不容试错，根因一旦判错，止血动作随之偏离。直接把大模型放在 RCA上，几个问题很快冒出来：取数不稳时，模型容易把"查不到"当成"没问题"；因果容易倒置，自愈、重启这类恢复动作常被当成根因；来源容易污染，告警卡片里的结论会被模型直接采信。

为此，我们没有让大模型单挑 RCA，而是用 Agent 把工程和大模型各管一摊：代码负责确定性取数与规则判定，大模型只在多域证据的模式与因果推理上发力，再用因果校验、置信度、根因独立性把它约束在可靠范围内。蚂蚁SRE 围绕这套思路沉淀了完整方案——以统一可观测本体为数据底座，告警、客诉、端智能、业务归因四类场景各做一个可路由 Skill，告警触发后由云端 Agent 自动执行，数分钟内产出带置信度的根因报告。

本次分享讲方案设计与核心实现，也讲踩过的坑：减少外部依赖、动线接口间歇性返空、不同本体时间戳格式不一致。目前召回接近全覆盖，准确率经数月迭代超过既定目标，产出稳定在分钟级。这套方案未必最优，能力边界与未解问题也会如实讲清，作为一份真实实践，与同行探讨。

演讲提纲

1. 背景与问题：RCA 要什么，现在卡在哪

• AI 已快速进入 SRE 各环节，但“给 RCA 加一个 AI”并不等于真正的智能定位

• RCA 的真正诉求：可信根因 + 可执行止血决策 + 分钟级时效，不是给个原因

• 现状痛点：跨多个平台取数、人工串联调用链、跨团队协同，慢且容易判错；排查经验高度依赖人、难沉淀，新人上手慢

• RCA 不容试错：根因判错会直接污染止血决策，可能演变为事故

• 结论：可信优先于快，这是整套架构的出发点

2. 直接用大模型做 RCA，会遇到的三个问题

• 取数误判：取数接口不稳或返空时，模型容易把“查不到”当成“没问题”下结论

• 因果倒置：自愈、重启、摘机这类恢复动作，常被当成根因

• 来源污染：告警卡片里自带的结论被模型直接采信，失去独立判断

• 这三个问题决定了：不能让大模型单独承担 RCA

3. 解法与核心架构：把大模型关进确定性笼子

• 用 Agent 把工程与大模型各管一摊：工程负责确定性取数与规则判定（产出可复现的事实），大模型负责多域证据的模式匹配与因果推理，Agent 按排查动线把两者编排成一条可信流程

• 分层架构：代码取数（只产出事实，不产出结论）+ 大模型判断——取数可复现、结论可解释、模型不编造

• 数据底座：统一可观测本体，用一个本体模型抽象十余类可观测数据，替代跨平台人工取数

• 可信护栏：因果防倒置（自愈是恢复手段而非根因；变更按类型/环境/时序三维降权）、置信度评分（带置信度的判断而非单一答案，封顶约束）、根因独立性（不采信告警卡片结论，独立推导）、端到端双向实锤（客户端断崖与服务端同步异动相互印证才下结论）

• 方案跑通需要的基础设施：告警与事件平台、云端 Agent 执行环境、Skill 平台、MCP 与 CLI（优先 CLI 换稳定性）、统一可观测本体、鉴权、知识库、评测体系

4. 四类可路由 Skill 与从告警到报告的自动执行

• 服务端告警诊断：承载分层与护栏的完整方法论

• 客诉端到端定位：客户端与服务端双向实锤的闭环

• 端智能 / 移动端告警诊断：前后端对偶、按告警语义分级决定诊断深度、三角验证

• 单用户业务归因（以会员积分为例）：纯 CLI 零外部依赖、排除法归因

• 共性：取数与判断分离、端到端闭环、因果防倒置、客观反选不写死业务名、容错降级

• 运行链路：告警 / 事件触发 → Skill 路由 → 云端 Agent 自动执行 → 数分钟产出带置信度的根因报告（结论先行 + 证据 + 止血建议 + 错误传播链路图），推送应急群并通知 Skill 负责人形成反馈

5. 踩坑实录

• 减少外部依赖：外部工具超时、返回过大、间歇返空频发，去掉强依赖、优先走 CLI，换稳定性

• 动线接口间歇性返空：单次取空不等于无数据，需重试命中即停

• 不同本体时间戳格式不一致：毫秒 / 秒 / 字符串混用，导致取数时段错位

• 云端预加载耗时：每次诊断检查所有外部工具状态，拖慢整体时效

• 压测流量误判：未识别压测独立表族，把压测当暴涨，险些误建议熔断

• 自愈误作根因与采信卡片结论：因果倒置与来源污染的典型案例

6. 效果与评测

• 评价指标：召回率、准确率、端到端时效，对标既定目标、逐月跟踪

• 评测方案：AI 自动打标 + 人工抽检校准 + 三级下钻看板（整体 → 单 Skill → 单事件）+ 每周回测与数据回流

• 目前效果（定性）：召回接近全覆盖、准确率经数月迭代超过既定目标、产出稳定在分钟级

• 评测本身的局限：自动评测是方向标，人工复核是 ground truth

7. 能力边界与开放问题

• 能力边界：应急痛点中 Agent 只能解决一部分；影响面分母难以界定；端到端闭环依赖可观测数据齐全；本体存在覆盖缺口

• 护栏的代价：确定性边界在防误判的同时，也削弱了对未知新根因的发现能力

• 开放问题：这套流程是否最优？哪些环节其实不该交给 Agent？确定性护栏的边界应划在哪里？

• 演进方向：通用能力与业务专属能力的协同、护栏与发现力的平衡

实践痛点

• 确定性与灵活的取舍：代码取数可复现、可解释，但写死规则难覆盖长尾；大模型灵活却容易幻觉。分层让两边各取所长，代价是两套能力都要维护，且“边界划在哪”随业务持续校准

• 推理深度与分钟级时效的取舍：多轮推理更深入，但难满足分钟级产出。把并行取数交给代码、压缩大模型交互轮次，用部分推理深度换时效，是性能优化的核心动作，也是持续性取舍

• 护栏与发现力的取舍：确定性边界能有效防误判，却压制了对未知新根因的发现能力。护栏越紧越安全，也越难识别未见过的故障模式——这是“可信优先”路线的固有代价

演讲亮点

• 给大模型画确定性边界，而非追求更聪明的模型。业界 RCA 方案多为单一数据源（纯 trace 或纯日志）的 AI 总结，或检索增强后让模型直接读告警卡片下结论。本方案的区别在于：把取数与因果边界交给确定性代码——只产出事实不产出结论、自愈是恢复手段而非根因、变更按类型/环境/时序三维降权、不采信卡片结论，让大模型只做模式匹配与因果推理。这专治“把恢复动作当根因”这一 RCA 特有误判，也把“AI 可靠性护栏”从口号落到可执行范式

• 端到端双向实锤 + 客观反选，做到可跨业务迁移。业界客诉定位多停在前端或后端单侧，且依赖写死的应用/业务黑名单。本方案用客户端断崖 × 服务端同步异动相互印证、按断崖幅度与流量规模客观排序反选，全程不写死任何应用名或业务词，Skill 可跨业务复用——把专家经验沉淀为可路由、可度量的能力，而非一次性脚本

听众收益

• 一套可迁移的“Agent 做 RCA”架构范式：代码取数 + 大模型判断分层，配合因果校验、置信度、根因独立性等可信护栏，可对照自身业务落地

• 一份“跑通这套方案需要哪些基础设施”的清单：告警与事件平台、云端 Agent 执行环境、Skill 平台、MCP 与 CLI、统一可观测本体、鉴权、知识库、评测体系，便于自查短板与规划投入

• 一组真实踩坑与解法：减少外部依赖、动线接口间歇返空、跨本体时间戳不一致、压测流量误判、自愈误作根因——少走弯路