专题演讲嘉宾：李也 博士

大模型 Agent 在智能运维场景落地时常常遇到“做 demo 容易，泛化难”的问题。借鉴编程智能体中可验证环境的成功经验，我们构建了智能运维领域的可验证实验环境和高质量评测集。阿里云可观测团队对云原生应用的运行态进行了详尽的理论建模，构建了覆盖 APM/容器/云服务/操作系统/LLM 应用等领域的实验环境，设计了全面的故障注入机制，并在此基础上制作了大规模高质量的评测集。

本次分享我将介绍这个实验环境并发布评测集，深入探讨如何利用评测集验证并提升基于 Agent 的智能运维算法泛化性。

演讲提纲

1. 智能运维泛化之痛

• 传统的基于规则的智能运维难泛化
• 受限于基础大模型能力限制，基于 Prompt Engineering 和大模型 Workflow 的智能运维在泛化性上也会遇到瓶颈
• 用大模型 Agent 做 demo 容易，上生产难

2. 智能运维领域的评测集介绍

• 评测集的规模：数据量级与场景多样性
• 评测集的覆盖度：跨领域的全面性

3. 如何构建高质量的评测集

• 在解决智能运维场景泛化性问题之前，我们需要想清楚要泛化到哪些场景
  • 对智能运维 Agent 评测问题的理论建模——把问题边界想清楚
• 实验环境的架构设计和实现
• 构建评测集过程中踩过的坑与经验教训

4. 基于评测集的智能运维 Agent 能力提升实践

• 如何用评测集验证智能运维 Agent 的泛化性及其可信度
• 阿里云智能运维 Agent 在评测集上的表现
• 如何用实验环境和评测集提升智能运维 Agent 的泛化性

您认为，这样的技术在实践过程中有哪些痛点？

• 对系统状态的建模和故障注入的覆盖度有一定的假设

演讲亮点

• 工程实践：阿里云可观测团队构建 AIOps 评测集的技术实践
• 方法论创新：把问题想清楚——关于如何构建评测集覆盖尽可能多真实问题的深度思考
• 实战指南：如何用评测集验证并提升智能运维 Agent 的泛化性

听众收益

• 了解一个可以用于验证并提升智能运维 Agent 泛化性的高质量评测集
• 掌握如何用高质量评测集提升 Agent 泛化性的方法
• 获得构建企业级 AIOps 评测体系的实践经验