随着 LLM 的发展，越来越多的业务期望结合大模型能力构建其 AI 应用以智能化解决场景化问题。AI 应用的开发与传统工程开发存在众多开发范式的变革，AI 应用落地的过程中也存在诸多挑战。本次演讲将探讨字节内应对上述挑战的实践，讲述 AgentOps 平台如何助力业务高效开发迭代 AI 应用。

演讲提纲

1. 大模型时代的应用开发范式变革

• 微服务应用架构 VS AI 应用架构 
• AI 应用开发范式
• AI Agent 的演进

2. AI 应用开发中的问题与挑战

• 基于大模型的应用开发迭代方式有何不同？如何高效开发？
• 面对大模型的不确定性，如何高效评测 AI 应用以达到上生产要求？
• 如何对大模型自主驱动的 Agent / 应用更好进行观测、运维？
• 效果不及预期，如何进行推理结果的优化提升？

3. 字节 AgentOps 落地实践

• 3.1 AgentOps 平台的整体架构
  • AI 应用开发的全生命周期

3.2 Prompt 开发：从设计、调优到应用

• Prompt 调试优化工具与实践
• Prompt 版本化管理与生产应用

3.3 效果评测：AI 应用的生存之道

• 评测标准与流程的建立
• 评测集与评估器
  • LLM-as-a-Judge
  • Code Evaluator
  • Human-in-the-loop
• 业务实践
  • 基于 Golden Set 的效果准出评测
  • 基于线上数据回流的在线评测

3.4 可观测：洞察 AI 应用的全链路

• Tracing 数据的采集与消费
• 开箱即用的会话聚合与指标分析
• 业务实践
  • 可观测在 Coze 和豆包上的实践

3.5 数据飞轮：AI 应用效果提升的闭环

3.6 落地情况与经验总结

• 在字节内场的落地情况
• 实践难点与经验总结

4. 未来展望

• AI 应用开发者的核心诉求
• Agent 元年对 AgentOps 平台的机会与挑战

您认为，这样的技术在实践过程中有哪些痛点？

• AI 应用开发的范式不断创新与变革，如何寻求 AgentOps 的最佳实践

演讲亮点

• 字节跳动 AgentOps 的全流程实践
• AI 应用效果评测、问题定位、效果迭代优化的一手经验

听众收益

• 深入理解 AI 应用开发过程中会遇到的问题及解法
• AI 应用落地及效果调优的实践经验及最新认知