专题演讲嘉宾：王亚普

随着 AI Agent 在小红 ToC、ToB 以及内部平台场景的规模化落地，传统 DevOps 体系面对 Agent 已经开始”水土不服“，Agent 的故障模式从”异常型“转型向”漂移型“，可用性和效果劣化问题并存，有可能可用性监控一切绿灯，但是用户体验逐渐下降。其根本原因在于 Agent 的变更单元从单一代码扩展为 Prompt、Model、Skill/Tool、Knowledge 等多种组合，任意维度的变化都可能引发效果的不可预期波动，而传统的监控、测试手段难以有效覆盖。

为此，我们需要构建一个面向生产的 AgentOps 工程体系，聚焦解决三类核心问题：Agent 如何从黑盒转向可控、工程迭代的闭环问题、线上效果的观测与持续优化。在 AI 应用观测的基础上，我们建设了以评估为中心的可靠性体系，通过离线+在线双轨评估，实现上线变更的自动化拦截，并针对不同业务场景建立从线上 Good/Bad Case 自动回流到评测数据集的机制，形成迭代与验证的正循环。

本次分享我会结合小红书在 AgentOps 领域解决的痛点问题，详细分享其中的工程落地实践，希望能给听众带来一些启发和思考，欢迎多多交流。

演讲提纲

1. 为什么需要 AgentOps

• Agent 应用在小红书的现状
• Agent vs 传统软件：工程挑战的本质差异
• AgentOps 的行业趋势
• AgentOps 技术架构全景

2. 面向 Agent 的可观测性体系建设

• Agent Runtime：为 Agent 量身定制的"操作系统"
• 以评估为中心，驱动 Agent 可靠性建设

3. AI 应用评估在不同业务场景的建设和落地

• 为什么需要 AI 评估？
• AI 应用评估的整体设计
• 高质量数据：评估体系的地基
• 在线 + 离线双轨评估：两条腿走路
• 业务最佳实践

4. 未来规划

您认为，这样的技术在实践过程中有哪些痛点？

• 评测数据集的维护是一个被严重低估的长期成本，不仅需要结合多种方式获取高质量的数据，而且需要保持持续运营
• Agent 实现内部是百花齐放的，对于评估工程来说难以覆盖所有用户场景
• Judge 的评估成本与延迟，需要在成本和性能之间平衡

演讲亮点

• 面向未来 AgentOps 工程体系的建设思路，解决效果可靠问题
• 以 Agent 可用性和效果为目标，建设可归因、可回放、可评估 Agent 可观测体系
• 构建以 AI Trace 为核心的数据底座，实现在线 + 离线的双轨评估机制，构建 AI Agent 迭代的工程闭环

听众收益

• 了解 AgentOps 工程体系的建设思路
• 了解评估工程的方法论和生产落地实践经验
• 获取实操层面的 tradeoff 分析与应对方案