专题演讲嘉宾：肖汉松

Agent 进入生产环境后，随着用户量增长，线上 badcase 也会持续增加。蚂蚁阿福上线后同样面临这一问题。从 badcase 的发现、归因和分派，到修复、验证和结果回流，各环节都需要工程师人工衔接。即使有 AI 辅助，处理能力仍不足以应对持续新增的问题。为此，我们分两个阶段推进：先用 Harness Engineering 解决“如何可靠修好 badcase”，再用 Loop Engineering 解决“如何持续修复 badcase”。

第一个问题是：如何减少人工参与，让 Agent 自主完成 badcase 的修复和验证？我们为 Agent 接入开发、部署和评测工具，通过执行约束保障长任务持续运行，再通过评测约束判断问题是否真正修好。在一次真实任务中，Agent 连续迭代 16 轮，改动最终经人工复核后上线。

当修复和验证能够稳定运行后，新的瓶颈随之出现：发现、归因、分派和结果回流仍依赖人工。如何把这些环节也交给 Agent，不再由工程师逐条发起 badcase 修复任务？我们将完整流程组织成两个相互衔接的循环（Loop）：内循环负责修复和验证，外循环负责发现、归因、分派和结果回流。两个循环衔接后，系统可以持续处理 badcase；异常改派和最终上线仍由人把关。

本次分享将结合真实案例，展示 badcase 如何入池、分派、修复和验证，并说明当前哪些环节仍需人工决策。

演讲提纲

1. 业务背景与 badcase 处理现状

• badcase 持续进入，工程师需要逐条分析、修改、部署和评测，现有处理能力难以覆盖不断新增的问题
• 一个 badcase 从发现、归因、分派到修复、验证和关闭，需要多名工程师在不同环节手工交接
• 两阶段改造思路：先让 Agent 自己完成修复和验证，再让 Agent 持续接收和处理新问题

2. Harness 设计与单 Agent 自主迭代

• 工具接入：把开发、部署、发起评测和获取结果变成 Agent 可以直接调用的工具
• 长任务运行：解决任务提前结束、重复空转和上下文不足等问题；主 Agent 负责目标管理，子 Agent 执行每轮分析和修改
• 避免只优化评测分数：隔离开发数据与验证数据，并在每轮修改后重新与当前基线对比
• 实践结果：Agent 连续迭代 16 轮，改动经人工复核后上线

3. Loop 架构与内外循环协作

• 修复效率提升后，问题发现、归因、分派和结果回收仍依赖人工，成为新的瓶颈
• 外循环 Agent 小队负责接收问题、分派任务，并根据处理结果决定后续流向；内循环 Agent 小队负责诊断、修改和验证
• 两组 Agent 共用 Harness 提供的工具、状态记录、执行约束和评测

4. Agent 小队任务处理与验证流程

• 接收与分派：先对一批 badcase 去重、归类和初步归因，再按问题归属创建任务
• 诊断与修改：根据证据定位问题所在层级，确认修改范围后，审查方案并实施修改
• 独立验证：验证者不参与修改，独立确认目标问题是否解决，并检查是否对其他问题造成影响
• 失败后改派：当前小队无法处理时，将判断结果和证据返回外循环，经人工确认后重新分派

5. 落地效果与实践经验

• 明确当前可由 Agent 处理的 badcase 类型，以及仍需人工介入的问题
• 工程师不再逐项执行重复操作，但仍负责制定约束、抽样复核、异常决策和最终确认
• 从自动化评测开始，先让一个边界清晰、结果可验证的小型 Harness 稳定运行，再通过定时任务驱动 Loop 持续处理问题

实践痛点

• 如何让 Agent 在长时间、多轮执行中保持稳定，避免早停
• 如何判断 Agent 是否真正解决了问题，而不是只提高了评测分数
• 如何保证多 Agent 之间的任务、状态和证据能够可靠交接，并划清自动执行与人工决策的边界

演讲亮点

• 以线上 badcase 处理为真实案例，复盘从 Harness 到 Loop 的两阶段演进：先用 Harness 支撑 Agent 稳定完成修复和验证，再由两支 Agent 小队共用这套 Harness，持续接收、分派和处理新问题
• 不只展示成功结果，也通过失败案例说明评测、独立验证和证据回流在闭环中为何缺一不可
• 不追求“全自动化”，而是明确 Agent 自动执行与人工决策、复核和最终责任之间的边界

听众收益

• 判断自己的场景处于哪个阶段：应先建设 Agent Harness，还是需要引入 Loop 处理持续问题
• 掌握一套判断 Agent 是否真正形成闭环的检查方法：能否持续执行、是否经过独立验证、失败后是否有明确的后续处理流程
• 获得一条明确的实施路径：从自动化评测和边界清晰、结果可验证的小型 Harness 开始，逐步扩大 Agent 的自主范围，同时保留人工决策与最终责任