随着大模型能力的不断增强，基于大模型的智能分析 Agent 如雨后春笋般涌现。DeepInsight 自 2023 年初便开始在智能化领域不断探索。然而，目前智能分析 Agent 在特定领域仍面临诸多挑战，例如领域知识不足、模型幻觉以及 Reasoning 模型响应时间过长等问题，这些问题直接影响了用户体验和业务落地效果。

为应对这些挑战，我们探索出了一系列创新解决方案：通过构建基于指标中心的缓存机制，有效解决了领域知识不足的问题；同时，借助模型蒸馏和强化学习（RL）技术，显著优化了 Reasoning 模型的响应时间和幻觉问题。我们的核心命题聚焦于四个方面：1）提升智能分析 Agent 的正确率；2）降低模型幻觉；3）构建指标与知识中心；4）构建评测集。

本次演讲我将重点介绍 DeepInsight 在智能分析 Agent 领域的创新实践，解决领域知识不足、模型幻觉和响应时间长等关键问题，以提升智能分析 Agent 的性能和用户体验。

演讲提纲

1. 业务问题定义

2. 大模型层的优化

• 基于 MCP 架构的 Self-Refine
• 反问澄清的设计
• 模型响应时间优化

3. 知识构建

• 知识的存储优化
• 知识的推理优化

4. 分析领域评测集构建

• 测评数据生成介绍
• 测评方法论和实践

您认为，这样的技术在实践过程中有哪些痛点？

• 如何解决既要模型的泛化能力，又要模型不出现幻觉的问题
• 如何满足推理性能的情况下优化响应时间
• 如何围绕以大模型为新生产工具，设计一套新的机制高效运转

演讲亮点

• 我们从推理工程优化（指标中心、知识库）、对模型优化（SFT、RL）等手段提升在领域场景的正确率
• 目前智能分析 Agent 落地成本普遍偏高，我们实践了一套高效的调试平台，用户在过程中可以修改 Prompt、知识以及自主评测，实现智能分析 Agent 不断低成本往前迭代
• 通过 MCP/A2A 协议实现联合 DeepInsight 以及外部多个工具平台，实现智能分析 Agent “大脑发达，四肢发达”，能想即能干

听众收益

• 成本与落地难题的解决之道：蚂蚁集团如何有效降低智能分析 Agent 的成本并成功落地，为面临类似困境的企业提供可借鉴的经验
• Reasoning 模型效率提升：蚂蚁集团在缩短 Reasoning 模型思考时间、加快响应速度方面的具体探索和实践成果
• 模型结果验证方法：如何确保模型生成结果的正确性，蚂蚁集团在这一领域的验证方法和实践经验