专题演讲嘉宾：牛万鹏

随着 Coding Agent 走向真实研发流程，越来越多团队发现问题并不在模型能力，而在于 Agent 难以持续优化：行为不可控、效果不可量化、优化高度依赖少数专家。本次分享结合实际落地经验，介绍我们如何通过 Feedback Loop、Benchmark 与 Agent Engineers 构建一个可运转的 Coding Agent 飞轮。

我们通过工程化的反馈闭环采集 Agent 的真实使用信号，引入贴近生产环境的场景化 Benchmark，对 Agent 行为进行持续评测，并推动研发团队整体转型为 Agent Engineers，使 Agent 的设计、评测与演进成为日常工程活动的一部分。

演讲提纲

1. 背景与问题
   • Coding Agent 在真实工程中遇到的三个问题：不可控 / 不可评测 / 不可规模化
   • 为什么“模型更强”并不能解决这些问题
2. Feedback Loop：让 Agent 的行为可观测
   • 如何采集真实使用反馈，而不是只看显式评分
   • 结构化记录 Agent 决策、工具调用和用户采纳行为
3. Benchmark：评测比生成更难
   • 通用 Benchmark 与真实研发场景的差距
   • 构建场景化、多维度 Benchmark 的实践
4. Agent Engineers：人如何进入飞轮
   • 不再区分前后端/算法/平台角色
   • 研发人员统一参与 Agent 的设计、评测与优化
5. 飞轮如何跑起来
   • Feedback Loop 提供信号
   • Benchmark 指导优化
   • Agent Engineers 承接持续演进

这样的技术在实践过程中有哪些痛点？

• 真实反馈难获取，且质量不稳定
• 离线评测结果难以指导线上优化
• Agent 能力过度依赖个体经验

演讲亮点

1. 从“调模型”转向“调系统”：多数方案聚焦模型或 Prompt，而本方案以工程闭环为核心，强调可观测、可评测、可回滚的 Agent 行为设计。
2. 把“人”纳入飞轮，而不是排除人：不追求“全自动 Agent”，而是通过 Agent Engineers 的组织设计，让人持续参与 Agent 演进，避免黑盒化。

听众收益

• 一套可落地的 Coding Agent 工程实践框架
• 对 Agent 评测和反馈设计的实战认知
• 对 Agent 时代研发组织演进的可操作思路