模型升级了,为什么生意未必升级?当 Agent 已经能够调用工具、组合方法,甚至现场构建解决方案,产品团队应该把力气花在哪里?
本次分享将以用户级 Harness 在若干真实企业高价值场景中的实际演示为切入,展示业务知识与专业经验如何进入 Agent 的执行过程,形成用户自己的工作系统;结合 CLOAK 在三个月内迭代 80 个版本的探索与取舍,复盘产品判断如何被真实使用不断修正:哪些需求值得做成产品,哪些解决方案可以由用户与 Agent 共同构建,以及如何在快速变化中,既赚今天的钱,又造明天的生意。
演讲提纲:
- 模型升级了,为什么生意未必升级?
- 模型能力决定“什么可以做”,业务条件决定“什么能够落地”。 借助 Pace Layering 的视角,理解技术、组织、制度与人的行为为何以不同速度变化,以及这种速度差如何影响 AI 的实际应用
- 瓶颈已经转移,产品投入也需要随之调整。 当主要障碍转向业务信息、判断标准与工作衔接,继续扩充通用能力,并把其余适配工作留给用户,未必能带来相应的业务价值
- 生成越来越快,整件事却可能仍然很慢。 从端到端(End-to-End)任务链审视准备、执行、审核、返工与交付,判断一次能力升级究竟改善了什么,以及创造了哪些过去无法实现的可能性
- 走进企业现场:用户级 Harness 如何让经验成为能力
- 复用通用执行机制,建设用户自己的工作条件。 结合真实企业场景,说明系统级与用户级 Harness 的分工:通用机制持续演进,具体业务的背景、方法与标准也需要持续建设
- 从五层模型理解 Harness 如何支撑完整任务。 围绕 Context、Memory / State、Tools / Skills、Rules / Permissions、Evals / Recovery,拆解 Agent 此刻看到什么、跨步骤保留什么、如何行动、受到什么约束,以及如何验收和处理失败
- 保存了经验、找到了经验、经验改善了执行,是三件不同的事。 通过实际演示,呈现业务资料、专业方法与规则如何进入执行过程,观察关键经验怎样改变 Agent 的行动与结果
- 让执行有依据,让结果可评估,让失败可恢复。 结合 Agent Loop 与 Workflow,区分规则指导、运行时权限和程序检查;通过评估、纠错与恢复,将有效反馈用于优化后续执行,让一次任务留下可复用的积累
- 三个月、80 个版本:CLOAK 的产品边界与迭代取舍
- 通用产品可以规模化支持差异,不必预先写好所有解决方案。 当 Agent 能够组合工具、Skills 与上下文,部分解决方案可以在使用中形成。重新判断哪些需求应做成固定功能,哪些可以由用户与 Agent 共同构建
- “允许定制”与“用户能够完成定制”之间,仍然有大量产品工作。 从个人实践走向团队采用,产品需要帮助用户表达经验、接入知识、修正方法。不能把尚未解决的使用成本,全部转化成对用户自觉性的要求
- AI 让实现更快,也让未经验证的判断更快变成产品。 结合 80 个版本的探索与取舍,区分功能完成、问题解决、持续采用与商业成立;用可运行样例减少实现歧义,用真实使用反馈修正产品方向
- 工具可以换,用户积累的资产应当留下。 底层模型与执行框架持续演进,产品需要辨认哪些实现应该替换,哪些业务知识与工作方法值得保留。竞争力来自帮助用户用好资产,并持续降低使用与维护成本
- 赚今天的钱,又造明天的生意。 阶段性方案需要交付现实价值,长期方向也要接受现实检验。让每次开发既产生眼前结果,也留下可复用的能力与被真实反馈修正的判断
实践痛点:
- 能力与结果脱节: 模型持续升级,业务信息、质量标准与工作衔接仍需用户反复补齐
- 经验难以稳定生效: 资料、Skills 与规则已经建立,但执行、验收与失败处理尚未形成完整闭环
- 个人可用难以转化为团队采用: 上下文整理、学习与协作成本阻碍持续使用,快速发版也难以证明价值
前沿亮点:
- Harness 五层模型与企业场景演示: 从 Context、Memory / State、Tools / Skills、Rules / Permissions 到 Evals / Recovery,展示完整工作系统的构成与协同
- 从经验注入到评估优化: 将专业知识、行为规则、执行评估与失败恢复纳入同一任务过程,讨论反馈如何转化为可持续改进的工作方法
- AI Native 产品边界与高频迭代实践: 结合 CLOAK 三个月、80 个版本的探索,讨论用户参与构建解决方案后,产品设计与交付方式如何变化
听众收益:
- 运用 Pace Layering 与端到端任务视角,识别 Agent 落地的真实瓶颈
- 掌握 Harness 五层模型的分析框架,理解专业经验如何进入执行、评估与改进过程
- 获得 AI Native 产品的边界判断与迭代思路,区分功能进展、用户价值与商业验证