专题演讲嘉宾：蔡健

当我们将 Agent 从原型推向核心生产系统时，真切遇到了传统软件体系无法解决的落地难题：Agent 的非确定性推理、动态工具交互形成了 “语义黑盒”—— 故障发生时查不到决策断层、优化时缺细粒度数据、多 Agent 协同后复杂度失控。更关键的是，QPS、延迟等传统指标根本无法衡量 “任务能不能成、决策合不合理”。我们在多个重要业务场景中踩过服务不稳定、质量漂移、成本超支的坑，最终意识到：必须针对 Agent 特性，从可观测和评估两个维度搭建落地保障体系。本次分享将复盘阿里云对内对外多业务场景的实践经验 —— 如何从 0 到 1 构建可落地的观测与评估方案，破解 Agent 生产落地的核心困局。

演讲提纲

1. 从原型到生产，我们踩过的 3 类核心坑

• 不确定性：用低代码和高代码不同范式落地长周期多轮交互场景时，状态管理混乱、异常无法恢复、推理链路不固定等等
• 观测痛点：线上服务首包响应慢、成本不可控，但传统监控看不到 完整的Agent 执行链路
• 评估缺失：Agent 上线后质量逐渐退化，新功能发布导致部分场景不可用

2. Agent 可观测体系生产落地全流程实践

• 数据采集：AI 场景采集挑战以及解法
• 全链路追踪：跨系统打通的实操技巧
• 领域建模：数据关联的落地经验

3. Agent 评估体系从 0 到 1 搭建与闭环优化

• 评估价值：为什么传统测试没用？
  • 用传统软件测试方法评估 Agent，出现 “质量验证手段失效”，“评估结果与用户反馈严重脱节”，“无法覆盖长尾意图” 的若干问题
• 评估准备：我们试过的方案与取舍
  • 数据对比：LLM-as-Judge vs Code-as-Judge vs 人工标注的适用场景，多种混合评估方式兼顾以及置信度交叉验证
  • 实践总结：选择高质量评估模板经验总结，构建黄金数据集核心原则，满足应用生命周期不同阶段的评估需求
• 评估架构：自动化落地的关键步骤
  • 搭建流程：评估运行时环境部署→Experiment多版本并行配置→评估器综合设置，实现评估结果到调优动作转化路径
  • 避坑指南：如何解决“评估覆盖不充分”、“评估结果不可复现”、“批量评估耗时过长等待” 等问题
• 闭环优化：嵌入全生命周期实践
  • 落地路径：将评估嵌入 “开发→测试→上线→运维” 的关键节点，基于效果度量机制设定 Agent 应用质量准入门槛的最佳实践

4. 案例分享：阿里云内部落地实践案例

5. 实践反思与未来探索

• 演进：Multi-Agent 协同场景中，跨智能体链路追踪以及执行轨迹的观测实现
• 思考：在长上下文多轮对话中，用户意图演化导致评估指标失效的应对思路
• 探索：尝试 “基于业务特征自动推荐评估策略”，降低人工成本的自动化机制

您认为，这样的技术在实践过程中有哪些痛点？

• 不同语言技术栈及 AI 框架（如LangChain、LlamaIndex等）快速演进，导致埋点适配成本高、数据格式碎片化
• 全链路追踪中客户端与服务端实体缺乏统一语义元信息（如session_id、user_id、Agent_id），难以有效关联
• Agent 实现路径多样、依赖环境复杂，难以覆盖长尾用户意图等，高质量评估常面临冷启动困难与基准缺失痛点

演讲亮点

• 全程基于核心业务场景的真实落地经验，复盘 “踩坑→解决→迭代” 的完整过程
• 基于多个真实生产场景的迭代经验，总结出可复用的 Agent 观测以及评估实操流程

听众收获

• 掌握构建面向 Agent 特性的可观测核心能力，从效果、性能、成本等维度建立生产级实践
• 理解 Agent 效果评估的关键设计原则，具备从 0 到 1 构建可落地、可扩展评估落地踩坑经验