专题演讲嘉宾：马云雷

Agent 上线之后，团队通常并不缺少 Trace，也不缺少一次性的评估工具，真正困难的是如何把这些能力串成一条可以持续运行的改进链路：原始 Trace 噪声多、结构不一致，无法直接作为评估对象；业务规则散落在人和文档中，难以转化为 Pipeline 和 Evaluator；Badcase 被发现后没有进入版本化数据集；Prompt、Skill 或 Harness 调整之后，也缺少一致的实验环境证明它真的变好了。
本次分享将介绍我们在Agent调优中的数据飞轮实践：首先将 Trace 按 Session 聚合并清洗为包含完整上下文和行为过程的 Trajectory；再通过可配置、可对话构建的 Pipeline 完成数据重组、语义增强、AI 预标注与分流，持续沉淀黄金数据集和回归集；随后组合 Code、LLM、Agentic 等不同 Evaluator，对文本、多模态输入、工具调用和任务完成过程进行持续评估，并将 Badcase 和评估证据回流数据集；最后通过 Baseline、实验、回归门禁验证 Prompt、Model、Tool、Skill、Workflow 与 Harness 的改动。
在此基础上，我们进一步将调优划分为手动挡、半自动挡和全自动挡：从人分析 Trace，到系统生成优化候选，再到自动实验和受控发布；并探索 Trace to Skill、Workflow、SQL、Script，以及 Trace-based Skill Optimize、Harness Fix 等面向不同对象的优化方法。

演讲提纲：

1. 从 Trace 到 Trajectory：构建可评估内容的数据管线
   • 为什么原始 Trace 不能直接作为高质量评估数据
   • Trace、Session 与 Trajectory 的区别
   • 从 Span 清洗、Session 聚合到完整任务轨迹
   • 基于 Pipeline 完成去重、重组、字段提取和语义增强
   • AI 预标注、场景分类与数据分流
   • 如何通过对话描述业务目标、预览真实轨迹并调整 Pipeline
2. 从 Trajectory 到黄金数据集：沉淀可复用的质量资产
   • 从 Trajectory 构建结构化 Dataset
   • 候选样本、Badcase、黄金集和回归集的区别
   • 数据去重、质量筛选和场景覆盖度
3. 从持续评估到实验验证：发现 Badcase 并验证改进
   • 如何把业务目标转化为可执行的评估标准
   • Code、LLM 与 Agentic Evaluator 的区别与选择
   • 多模态 Agent 的评估对象建模与工程边界
   • 通过真实轨迹预览、人工校准、回测和版本管理保证 Evaluator 质量
   • 从持续评估到 Badcase 发现、聚类、归因和回流
4. Trace2Optimizers：从人工调优到受控自进化
   • 手动挡&自动挡&半自动挡的调优模式。
   • Token成本和效率：基于算法优化Agent的成本。
   • Agent自进化模式：Benchmark上的验证和实践落地。

实践痛点：

1. 轨迹完整性与采集成本之间存在矛盾。
2. 数据清洗与事实保真之间存在矛盾。
3. 不同类型的评估器选择。
4. 持续评估的需求和成本。
5.  Agent自进化与企业生产稳定性需求的矛盾。

前沿亮点：

1. 从“评估算法”转向“评估工程的生产与交付”
2. 以 Trajectory 为中心连接数据、评估和实验
3. 面向不同优化对象的 Trace2XX 方法
4. 手动挡、半自动挡、全自动挡的渐进式自进化

听众收益：

1. 理解 Trace、Session、Trajectory、Dataset、Evaluation 和 Experiment 在 Agent 数据飞轮中的职责边界。
2. 掌握从原始 Trace 构建可评估轨迹和版本化黄金数据集的方法。
3. 学会根据场景组合 Code、LLM 和 Agentic Evaluator，而不是只依赖单一 Judge。
4. 获得一套从 Badcase 发现、数据回流到实验验证和发布回滚的完整闭环。
5. 理解 Prompt、Skill、Workflow、SQL、Script 和 Harness 等不同对象如何基于 Trace 持续优化。
6. 根据业务风险选择手动、半自动或全自动调优模式。