随着众多大模型能力增强以及成本降低，打开了 AI+ 业务的想象空间，AI 应用进入爆发期。传统业务开始转型“ AI + 业务”或“业务 + AI 原生”的架构，大模型驱动的 Agent 逐渐成为企业智能化核心。在过去，传统应用是基于分布式云原生中间件进行构建的，在 AI 时代，如何降低应用集成 AI 的成本、助力 AI 与传统业务结合、 加速 AI+业务创新与落地，成为中间件的新命题。

本次演讲我将分享蚂蚁集团中间件团队在 AI 时代面临的挑战，AI 中间件体系化转型的思考，AI 中间件建设情况（包括 Agent 研发框架、低代码平台、Tools&MCP、RAG、Memory、网关、可观测等基础设施），以及内部落地实践。

演讲提纲

1. AI 中间件挑战

• 应用架构演进
• 智能原生应用趋势
• 智能原生时代中间件挑战

2. AI 中间件转型思考

• AI 应用研发技术栈全景图
• AI 中间件需要解决哪些问题
• 蚂蚁 AI 中间件全景

3. 蚂蚁 AI 中间件体系

• Agent：框架、Workflow、低代码
• 工具：MCP 场景与挑战、MCP 基础设施
• 数据：RAG、Memory
• 全链路：注册中心、网关、流式&多模态
• 配套：可观测、评测

4. 总结与展望

• 实践心得
• 趋势判断

您认为，这样的技术在实践过程中有哪些痛点？

• AI 技术的变化日新月异，比如新的协议和范式，如何进行更好的抽象
• 内部如何快速地安全地引入外部最新的技术实践

演讲亮点

• 从基础设施角度看到 AI 应用开发层的通用需求和能力
• 不仅仅关注 Agent 开发，更关注与已有业务和基础设施结合的实际落地

听众收益

• 了解蚂蚁中间件对 AI 应用演进的技术趋势判断以及转型思考
• AI 中间件作为 AI 基础设施的一部分，蚂蚁中间件针对痛点都建设了哪些基础设施
• 了解 AI 中间件是如何助力传统业务与 AI 结合，加速业务创新落地

随着大模型在企业和行业场景中持续落地，“记忆”正在成为继参数调优和上下文工程之后的下一个工程化核心。短时遗忘、知识碎片化、跨任务信息无法留存等问题，正在限制大模型的个性化、推理链延展与持续演化能力。

本次演讲我将结合多年的研发与落地实践，系统剖析大模型记忆工程的核心技术：记忆分层管理、多粒度调度、可信更新与安全治理，并展示这些技术在金融、工业、知识管理等业务中的应用效果。通过对架构设计、实现细节和案例经验的讲解，帮助开发者与架构师全面理解如何构建具备长期留存与动态调度能力的“有记忆的 AI”，以及它在未来产业智能化演进中的角色与挑战。

演讲大纲

1. 引入与背景

• 大模型能力跃迁：从参数驱动 → 上下文工程 → 记忆工程
• 为什么记忆成为瓶颈：个性化、跨任务学习与推理链断裂

2. 记忆工程的核心理念

• 记忆的三种形态：参数记忆、激活记忆、外部显式记忆
• 记忆的三大能力：生产、调度、学习

3. 架构与实现方法

• 分层记忆架构：时间尺度与精度需求的统一调度
• 多粒度调度机制：时间跨度、信息密度、任务相关性管理
• 高效与成本的动态平衡

4. 实践案例

• 金融：合规可控的知识留存与智能问答
• 工业：跨任务的设备状态与维护历史记忆
• 知识管理：企业内部知识的动态积累与复用

5. 工程落地挑战与治理

• 记忆可信度与幻觉控制
• 长期存储的隐私与合规治理
• 与 LLM / RAG / 多模态系统的融合

6. 未来趋势与总结

• 从“模型中心”到“记忆中心”的 AI 架构转型
• 开放生态与跨领域记忆共享的可能性

演讲亮点

• 记忆分层管理的系统化设计：不同于只做上下文扩展或向量检索的方案，MemOS 将记忆分为参数记忆、激活记忆和明文记忆，按时间尺度与精度需求进行统一调度，兼顾性能、成本与准确性
• 多粒度记忆调度机制：通过对记忆的时间跨度、信息密度和任务相关性进行分级管理，实现按需调用、动态加载和精准匹配，避免“调用过多浪费算力”或“调用不足影响准确性”

听众收益

• 理解记忆技术的全景图：从短期上下文到长期外部记忆的演进路径和关键设计点
• 掌握落地方法论：学会如何通过分层管理与多粒度调度提升大模型可用性与成本效率
• 真实案例经验借鉴：获得不同行业在引入记忆增强 AI 时的技术路线与避坑方法

随着 AI 应用的爆发式增长，如何让 AI 系统有效且高效的接入企业的数据和工具成为了一个普遍存在的问题。MCP 协议的发布实现了第三方 API 接口的平权调用，极大提升了 Agent 开发效率，拓展了大模型的智能边界。虽然 MCP 让 AI 能够更低成本的接入第三方系统，但企业落地时依然面临很多挑战，MCPHub 作为 AI 时代的新基建，将加速智能应用开发，本次演讲我将分享美团 MCPHub 在稳定性、可用性、安全性、易用性等方面等遇到的问题挑战和思路解法，最后展望 MCPHub 的未来发展趋势和规划。

演讲提纲

1. MCP 背景及落地挑战

• MCP 是什么
• MCP 的主要价值
• MCP 在企业落地的主要挑战

2. MCPHub 建设和思考

• 美团企业级 MCPHub 介绍
• MCPHub 的整体方案设计
• MCP应用、MCP Server、MCP Tool 的逻辑关系
• 稳定性问题：MCP SSE 长连接问题、MCP 多协议版本兼容
• 安全问题：打通企业身份及鉴权体系
• 可用性问题：Tool 裁剪、编排等加工能力
• 易用性问题：AI 填充、Tool 调试、Playground、CloudIDE
• 易用性问题：RAG-MCP 提供工具深度搜索能力
• 易用性问题：智能路由 MCP 解决工具过载问题
• 供给问题：建立全品类的 MC P以及 Tool 广场

3. MCP 最佳实践及洞察

• 什么才是模型友好的 Tool
• 最佳实践：从接口思维到任务思维转变
• 案例分享：内部 MCP 落地案例
• MCP 业务洞察

4. MCPHub 演进规划

• MCP 官方的演进计划
• 美团 MCPHub 的演进规划

您认为，这样的技术在实践过程中有哪些痛点？

• MCP 协议还不够稳定，未来有可能演进为 WebSocket 等全双工协议
• 如何找到匹配的工具服务，这是所有大模型面临的通用难题，而 MCP 协议并不能解决这个问题

演讲亮点

• 大模型工具调用的最佳实践，站在 Agent 视角思考 Tool 定义，而非 Tool 供给方视角，比如产品支持 Tool 加工、版本管理等
• MCP 针对鉴权的支持，支持基于人、基于应用的身份认证，并兼容已有系统的鉴权方式
• 如何通过网关实现 Streamable 协议的平滑升级，兼容已有 MCP 服务

听众收益

• 了解企业级 MCPHub 的落地挑战和方案
• 了解如何零代码改造实现存量数字资产的智能化升级
• 了解大模型工具调用的最佳实践，有哪些注意事项

2025 年，Agent 从概念验证进入生产落地阶段，企业从传统 chatbot 转向多轮、多模态、跨工具的复杂智能体开发。相比传统软件测试，Agent 效果评测面临指标定义模糊、结果不确定性高、线上表现波动大等新挑战。本演讲我将结合字节在多业务线 Agent 落地过程中的经验，系统解析从评测集构建、指标体系设计、到持续集成与线上监测的全链路实践方法，探讨如何在不确定的 AI 行为中建立可复用的效果评测体系，并支撑快速迭代与线上稳定运行。  

演讲提纲

1. 引言

• 背景
  • Agent 应用开发现状​
    • 企业从传统 Chatbot 到复杂 Agent 开发测试迭代转变
    • 从实验性项目到生产级应用的转变
  • AgentOps：Agent 效果评测新范式
  • 传统应用测试 VS Agent 效果评测
• 挑战
  • ​持续集成：区别于工程质量的确定性指标，面对大模型的不确定性，如何快速达到线上生产标准？
  • 线上监测：效果如何持续线上应用的效果并不断优化迭代？
  • 面对越发复杂智能的 Agent，如何设计好科学的指标，全方位的评判 Agent 各个环节？

2. Agent 效果评测核心流程解析

• 效果评测核心流程
  • 测试阶段：离线评测质量准出、持续集成
  • 线上阶段：在线评测持续监测效果、迭代优化

3. 字节效果评测的实践步骤

• 构建持续迭代的评测集数据
  • 多模态、多轮对话等评测集的构建方法
• 选择适合不同业务场景的评测指标
  • Agent、多模态、多轮对话、一致性等业务指标设计与实践
  • LLM-As-Juge、Code 等评估方法实践
• 基于灵活智能的评测实验结果，发现 badcase
  • 单实验分析、多实验结果的对比分析的方法
  • 洞察 insight：如何用 Agent 智能发现问题给出建议
• 线上阶段持续的效果观测、优化和迭代
  • 用在线评测的方式发现线上性能和效果问题

4. 用户案例

• 字节内部：直播业务
  • 短视频合规审核场景，人审如何转大模型机审提效，评测集管理、多模态、多轮对话评测方法
• 商业化：Agent 评测解决方案
  • 全码 Agent 应用，基于 trace 的在线评测、评测集管理能力

5. 未来规划与展望

• 复杂 Agent / Multi-Agent 如何进行更好的效果评测

您认为，这样的技术在实践过程中有哪些痛点？

• 面对越发复杂智能的Agent，如何设计好科学的指标，全方位的评判 Agent 各个环节？
• 如何做好开发阶段的效果准出评测和线上阶段的线上效果监测？
• 如何结合业务情况，构建合适的评测集和选择合适的评估指标？

演讲亮点

• 评测集管理构建、评估器选择与设计、评测报告分析洞察等最佳实践分享
• Agent在线评测、多模态评测、多轮对话评测等多种场景化评测方法分享
• 基于字节内部真实业务的效果评测最佳实践

听众收益

• 了解 AI 应用效果评测的通用评测流程和方法
• 了解字节内部真实业务效果评测的最佳实践、一手经验