随着大模型与智能体（Agent）技术的快速发展，强化学习（RL）正成为提升 AI 代理自主决策能力的关键引擎。然而，传统的 RL 训练方法面临计算成本高、数据需求大、系统复杂度高等挑战，限制了 Agent 的规模化落地。本次演讲我将重点介绍针对 Agent 模型的强化学习训练系统 AReaL 及其在 Agent 场景下的最佳实践。通过真实数据和可复现的代码，展示 AReaL 如何帮助开发者和企业高效构建智能体系统，并推动 AI Agent 从实验室走向产业应用。

演讲大纲

1. Agent 时代的强化学习新挑战

• 传统 RL 训练的瓶颈
  • 数据需求：高质量人类反馈（RLHF）的获取成本
  • 计算效率：长序列任务（10 K+ tokens）的显存与吞吐问题
  • 系统复杂度：多模块（生成、奖励、策略优化）协同训练的工程难题
• AReaL 的破局思路
  • 异步强化学习训练：2.77x 强化学习训练提升
  • SOTA 推理模型：通过强化学习在多个任务轻松实现 SOTA
  • 全栈开源简单易用：代码、数据、模型、脚本的完整可复现性，轻量级版本轻松入门强化学习

2. AReaL 在 Agent 场景的核心技术

3. Agent 最佳实践案例

4. 社区生态与未来计划

演讲亮点

• 面向 Agent 的强化学习技术突破
• 独家开源实践
• 前沿 Agent 场景落地

听众收益

• 获取降本增效的 RL 落地路径
• 解锁 AI 与业务场景的融合范式
• 了解 AReaL 未来支持多模态 Agent、异步训练的路线图，提前布局技术生态

本次演讲我将从一个实例出发，结合行业的最新进展，探讨多智能体（Multi-Agent）协作在企业级落地中的架构设计问题，分享如何优化并且打造最高效的“AI 团队”。内容涵盖中心化与去中心化协作机制的取舍、分工策略、以及利用大模型对协作效果进行评价的方法及实验结果。除了针对常见问题例如速度瓶颈、Token 消耗与无效协作等实践问题进行探讨外，我还将延伸至开放世界场景下的协作与博弈，探讨 Agent Scaling Law，不确定性问题，以及竞争机制的利弊。旨在帮助听众在掌握最新技术趋势的同时，获得从架构设计、效果评估到持续优化的完整落地路径，为企业构建高效可控的 AI 团队提供可借鉴的实践蓝图。

演讲提纲

1. 破题

• 以微软 Magnetic-One System 为例，演示多智能体如何协作完成一项深度研究任务

2. 背景

• 多智能体协作的发展进程
• 大厂布局（Google、Microsoft、Meta、AWS、OpenAI、初创公司等）
• 产品分类（框架、服务、协议、组件等）
• 前沿企业级应用案例

3. 产业应用：如何选择协作机制

• 常见的架构与分工模式（中心化 / 去中心化，Group Chat / 私聊）
• 重点讲解中心化协作模式
  • 结合在本人在 AWS 发布的技术报告，介绍其中的实用方法
• 扩展讨论：
  • 最佳的多智能体网络拓扑是什么？
  • Initiative Taking 与 Decision Making 的取舍
  • 多智能体投票机制是否有效？ 

4. 产业应用：如何评价多智能体协作效果

• 端到端指标（Task Completion Rate）
• 基于大模型的评价方法
• 细分指标：直接衡量协作有效性
• 基于 Bedrock 开源数据的评价结果展示

5. 产业应用：打造最高效的 AI 团队

• 企业级应用中常见问题：
  • 速度瓶颈
  • Token 数瓶颈
  • 无效合作
• 优化通信协议
• 优化协作模式
• 优化协作工具
• 共享记忆与私有记忆的权衡
• 如何衡量 Collaboration Overhead（协作开销）

6. 扩展议题：多智能体对齐

• 群体行为对齐的重要性与实践难点
• Prompt 优化（Dspy / Textgrad） vs. 模型训练
• 跨多智能体的报酬函数设计

7. 扩展议题：开放世界中的 AI 协作

• 多智能体协作的 Scaling Law：1000 个智能体可以做什么？
• Cobb–Douglas Exchange Economy 实验：大模型是否总是做出最理性的决策？
• Blackbox Collaboration 中的不确定性
• 智能体竞争的利与弊：
  • 竞争关系、不确定性与价值函数冲突
  • 多智能体世界的“心智理论”（Theory of Mind）
• 基于 OpenAgents 框架的 Demo 展示

8. 总结与未来展望

• 群体智慧与智能体网络的发展
• 适应多智能体协作的大模型新范式

您认为，这样的技术在实践过程中有哪些痛点？

• 多智能体协作，无论是开放或封闭环境中需要共享长序列的上下文，导致 Token 数量激增，增加延迟
• 即使有很多方法来减轻此类问题的影响，但并不是所有的应用案例都适合使用多智能体协作

前沿亮点

• 本演讲带领听众认识并且理解在开放环境中的多智能体协作，其应用价值以及独有的问题
• 通过穿插真实案例与实验演示，激发听众对关键技术问题的思考

听众收益

• 对于多智能体协作更深入的认知
• 了解各种协作模式的优劣，有助于听众在其应用中作出合理的选择
• 可以复现的一些实验结果，启发参会者设计自己的实验

Agent 的 Memory 问题一直都是 Agentic AI 的路上无法避免的话题，但是主流解决方案都在尝试用封闭域的解决方案解决开放域的问题，往往会导致人与 Agent 的上下文鸿沟，Agent 不知道什么是重要的，什么是用户需要的，什么是应该疑问的，Dify 将使用一套合理的产品设计来保持人与 Agent 的对齐。

演讲提纲

几乎所有熟悉 LLM 的人都会碰到下面这些很麻烦的问题：

• N 轮对话过后模型记不得自己说了什么，忘了用户要求过什么。
• 一个任务模型执行了一次失败了结果两分钟过去它又跑一次，始终跑不对。

一切的问题根源来自于 Transformer 最开始无状态的设计：

• 全量的、事无巨细的一切内容都被保留，从而便于模型玩成语接龙
• 没有一个和 Messages 分离的 状态 可以保存高度浓缩的精华，就算有也难以修改

但是什么是重要的？什么是可以被丢弃的？什么时候又该更新记忆？似乎太过于主观：

• 模型自身本来就存在于人类意志不对齐的情况
• 人与人之前的信息不对齐也是常态，这在管理学中是一个复杂的系统工程

如果将一切的判断交给模型，难免会出现用封闭域的解决方案去套开放域的问题这类通用方案的旧病，模型是服务于人类的，需要时刻与人类保持意见对其，因此，需要有一种方案可以让用户决定这些背后的细节。

设计理念

• 选择交给用户，不要将过多的未知数留给模型，避免去解决开放域的问题
• 需求驱动，在用户不使用帮助文档的情况下可以理解，带着需求来就可以理解每个每个细节的作用

您认为，这样的技术在实践过程中有哪些痛点？

• 会给用户带来一定的心智负担，任何任务的复杂性都不会消失只会转移，但人类应该明确自己的需求，并时刻保持与模型的上下文的对齐

演讲亮点

• 避免了使用封闭域的解决方案解决开放域的问题
• 高度保持与用户的认知对齐

听众收益

• 了解当前行业内的 Memory 进展
• 了解 Dify 在 Memory 的未来方向
• 认识到 Memory 背后不可忽视的工程复杂度与设计哲学

近年来，随着大语言模型（LLM）的快速发展，AI 辅助工具（如 Copilot ）已逐步渗透到研发、创作等场景中。然而，单一 Agent 在复杂任务中仍存在局限性，如任务分解能力不足、上下文长度受限、工具调用效率低下等。Multi-Agent 系统通过分工协作、自组织和动态工作流等机制，能够显著提升复杂任务的完成度和自动化水平。本次演讲将探讨 Multi-Agent 的核心设计理念，包括工具抽象、自组织架构、Agent 自我训练等关键技术，并结合广告创意生成与投放的实践案例，分析其在真实业务场景中的落地效果。同时，我们也将坦诚讨论 Multi-Agent 的痛点，如调试复杂度高、幻觉累积等问题，帮助听众更全面地评估技术选型。

演讲提纲

1. 从 Copilot 到 Autopilot：AI 自动化的演进趋势

• 当前 LLM/Single Agent 的局限性（任务复杂性、工具链断裂、静态工作流）

2. Multi-Agent 的设计哲学与核心要素

• 基本抽象：Agent 作为工具的工具
• 关键结构：分工协作 vs 自组织
• 自治的核心：动态工作流与决策机制

3. Agent 自我训练与记忆系统

• 长期记忆的实现与挑战
• 幻觉问题的缓解策略

4. 实践案例与演示

您认为，这样的技术在实践过程中有哪些痛点？

• 调试复杂性：多 Agent 交互的日志追踪和问题定位成本显著增加，需引入可视化监控工具
• 幻觉累积风险：Agent 之间的错误传递可能放大最终输出偏差，需设计校验层（如人类审核或规则兜底）
• 性能与成本的平衡：动态工作流可能导致冗余计算，需在自治性和资源消耗间权衡
• 领域适配门槛：通用 Multi-Agent 框架难以直接套用，需结合业务定制协作协议

演讲亮点

• 真实场景验证：基于广告业务（高复杂度、强 ROI 要求）的落地经验，非玩具 demo
• 技术深度剖析：揭示自组织、动态工作流等背后的基本原理，不只是对于 Framework 的直接套用

听众收益

• 技术选型参考：获得评估 Multi-Agent 适用性的方法论，避免“为多而多”的过度设计
• 架构设计启发：借鉴自组织、工具抽象等模式，优化现有 AI 系统扩展性
• 业务落地策略：学习如何在企业实际场景中平衡自动化与可控性

企业分布式系统架构日盛的大背景下，运维系统的复杂度正呈指数级攀升，给 SRE 工作带来重重挑战：混合云架构，微服务架构让多集群、多服务交织，一旦出现故障，工程师需在海量日志、跨链路指标中反复溯源，问题排查往往耗时数小时甚至更久；容量分析既要考虑业务峰值波动，又要平衡资源成本，传统依赖经验的估算方式常出现偏差；而随着业务快速迭代，架构持续演变，新旧系统兼容、技术栈更新带来的潜在风险，进一步加剧了运维压力。​

传统的运维方式的解决方法是依赖不同领域的专家经验相互协作，结合系统的数据进行分析，才能得到问题的解决方案。SREAgent 利用大模型凭借其强大的语义理解、关联分析与知识沉淀能力，为破解这些运维难题提供了新思路。它能学习和模仿人的经验，打破数据孤岛，将分散的日志、监控指标、工单信息整合分析，快速定位故障根因，大幅缩短排查时间；在容量分析场景中，可基于历史数据与业务增长趋势，生成更精准的资源配置建议；面对架构演变，还能梳理技术依赖关系，提前识别兼容性风险。

在实现的过程中，也存在数据量过大，信息过载，模型幻觉导致结果不准确的问题，本次演讲将介绍 SREAgnet 如何将大模型和工程化结合去解决以上问题，并详细介绍其在问题根因分析、风险主动巡检、成本优化等几个关键运维场景的实践过程。

演讲提纲

1. 运维场景问题和挑战​

• 应用场景
  • 系统稳定性的应用场景
  • 成本优化的应用场景
  • 研发支持的应用场景
• 面临的挑战
  • 分布式架构的复杂性
  • 海量数据的信息提炼
  • 业务快速迭代下新旧系统兼容性问题​

2. 几种典型场景的方案

• 问题根因分析场景
  • 问题根因分析的难点
  • 根因分析过程和所依赖的数据
  • 提升 SREAgent 的分析思路正确性
• 风险主动巡检场景
  • 智能主动巡检的和传统的系统巡检的区别
  • 如何结合大模型和工程化能力提升巡检效率
• 成本优化场景
  •     IT 资产的分类分析
  •     指标的收集和维护
  •     SREAgent 从业务架构层面进行优化分析

3. 问题沉淀和系统架构

• 落地过程中碰到的问题​
  • 数据量和信息量过载问题
  • 模型幻觉问题
• 沉淀的系统架构​
  • 元数据的模型设计
  • 通用性和确定性的取舍
  • 系统如何提供扩展点来满足更多的需求

4. 未来的展望​

• 场景的挖掘深度，提升结构的准确性
• 系统的扩展性，快速满足更多的场景
• 性能提升，提升 Agent 的响应速度

您认为，这样的技术在实践过程中有哪些痛点？

• 运维场景的依赖人的专业水平，Agent 如何快速达到相当的水平
• 大量的数据如何清洗和标注，让大模型更理解
• 问题的通用性和确定性之间如何平衡

演讲亮点

• 结合实际的运维场景的问题解决策略

听众收益

• AI 时代，运维领域里如何结合大模型提升运维水平和能力

ChatBot 时代“ Prompt 决定效果”；24 年底 Agent 形态爆发，单任务动辄几十上百次工具调用，动态上下文体量指数级膨胀，传统逐轮裁剪导致 Prompt Cache 失效、成本激增。Qoder 将上下文拆为静态 Prompt 与动态 Action/Observation，融合代码库分析、开发者行为感知、执行反馈、和网络实时信息获取四大维度，按“保留完整历史 + 工具输出精细裁剪 + Todo 持续引导”策略组装，配合 Prompt Cache 与错误回溯保留，实现 90% 延迟下降、5-20% 成本压缩，任务完成度和效果大幅度提升。本次演讲我将分享 Qoder 的 Context Engineering 实践。

演讲提纲

1. 静态上下文（Static Context）

• System + User + Tools Prompt

2. 动态上下文（Dynamic Context）

• 基于代码库的上下文（Context From Codebase）
• 基于开发者行为的上下文（Context From Behavior）
• 基于执行反馈的上下文（Context From Execution）
• 基于互联网内容的上下文（Context From Internet）

3. 上下文组装的策略与实践

• 前缀保持稳定，最大化 Prompt Cache
• 多粒度语义蒸馏与重组
• 认知焦点持续性牵引
• 超限场景下的弹性降载
• 先验错误 & 过程错误的注入

您认为，这样的技术在实践过程中有哪些痛点？

• 缓存命中 vs 长上下文腐化
• 工具输出裁剪 vs 信息丢失

演讲亮点

• Coding Agent 在上下文处理上的最新实践，结合编码场景，实际遇到的问题和经验分享

听众收益

• 从 Coding 的视角和场景，看 Agent 的构建有什么异同
• 面向失败的系统工程：如何把 Lint、单测、运行时异常全部沉淀为可检索的上下文，让 Agent 从第一次失败就持续学习，减少重复踩坑

大模型技术日新月异，我将围绕解决工业界实际问题，详细介绍团队近期的技术创新和落地实践成果。首先，分享情感陪聊的技术创新和产品落地经验，包括 Agent 驱动世界日志的主动记忆对话方法 iPET，以及面向个性化 AI 搜索生成对话 PaRT 框架；接着，展示小红书翻译大模型的技术细节，包括利用强化学习思考推理快速唤醒大模型翻译能力 MT-R1-Zero，社交生活化风格翻译大模型 RedTrans，以及基于多模态、多任务推理的图片文字翻译模型 MT3；最后，介绍社交生活化领域实际任务 SNS-Bench 和 SNS-VL-Bench，以及小红书社交大模型 RedOne、多模态复杂推理大模型 Vision-R1 等。

演讲提纲

1. 情感陪聊 Agent

• 基于世界日志、记忆对话的情感陪聊系统
• 基于个性化信息检索技术提升的多轮对话模型
• 情感陪聊真实案例分析与 Bench 介绍

2. 小红书翻译

• 大模型翻译 - RedTrans：从产品到技术实现
• 深度思考翻译模型 - MT-Zero-R1：“环崂旅行，真的太棒了
• 融合图片语义信息的图片文字翻译 - MT^3：多模态思考推理实现 OOD 翻译能力

3. 社交领域大模型

• 社交领域 Bench：大语言模型 SNS-Bench、多模态大模型 SNS-VL-Bench
• 社交大模型 RedOne：行业首发，详解全业务驱动的后训练
• 多模态复杂推理 Vision-R1：首个通用复杂推理多模态大模型

您认为，这样的技术在实践过程中有哪些痛点？

• 非常多，我将会分享各种技术落地的干货，不仅仅是前沿技术研究。

演讲亮点

• 前沿技术创新（包括了半年来的十几篇顶会论文）
• 业务落地实践干货（目前落地了公司 20+ 业务场景）

听众收益

• 了解 LLM/MLLM/Agent 最新前沿技术
• 交流大模型相关技术落地应用的实践技巧