随着 DeepSeek-V3 & R1 火爆全球，基于大语言模型和 AI 生态技术栈构建的应用与业务场景与日俱增。AI 原生应用架构从研发到生产落地，面临诸多新的挑战，包括模型选择、流程编排、评估分析等等。可观测技术可以帮助 LLM 应用开发及运维人员更好的优化模型性能、成本及效果。

本次演讲将以 DeepSeek 对话机器人为例，深入介绍 AI 原生应用架构的可观测需求、挑战与方案实践。比如 DeepSeek 为何频繁出现服务器繁忙？如何评估 DeepSeek 与其他模型的性能、成本与效果差异？如何优化 DeepSeek 对话机器人的终端用户体验？等等。希望能给听众带来一些思考和参考。

演讲提纲

1. AI 原生应用架构演进与落地挑战

• 蓬勃发展的 AI 应用生态
• 微服务应用架构 vs AI 原生应用架构
• 典型的 LLM 应用观测需求与挑战

2. AI 原生应用架构可观测方案

• 面向 LLM 应用的领域化 Trace 语义
  • User -> Session -> Trace -> Span
  • LLM Span Kind/Attributes
• 面向 LLM 应用的领域化指标洞察
  • 系统、模型、失败、延迟、成本、评估
• 基于 OpenTelemetry 的高质量数据采集
  • 大模型框架无侵入埋点（vLLM）
  • 如何解决超长文本采集与分析
• LLM 专属领域可视化分析视图
  • 推理性能分析
  • Token消耗分析
  • LLM TraceView

3. DeepSeek 对话机器人可观测实践

• 如何构建端到端全链路分析视图？
  • 前端、网关、后端、模型、基础设施
• 如何解决海量并发下的服务器繁忙？
  • 瓶颈定位、请求缓存、模型切换等
• 如何评估对话机器人回答效果？
  • 向量索引、语义富化、效果评估等

您认为，这样的技术在实践过程中有哪些痛点？

• 大模型领域化数据语义、采集、加工与可视化
• 大模型端到端全栈数据打通与分析
• 从性能向成本、评估效果的观测重心转移

演讲亮点

• 面向 AI 原生应用的端到端全栈可观测方案
• 以 DeepSeek 对话机器人为例，介绍大模型调用性能/成本/效果优化实践

听众收益

• 了解阿里云面向 AI 原生应用架构的全栈可观测前沿技术
• 开拓新思路，比如通过 LLM Trace 分析 DeepSeek 对话机器人服务器繁忙性能瓶颈