AI 时代,通过结合 AI 技术重构大数据生产、分析等场景的工作模式,使得数据生产、分析更高效、更智能,实现从“数据驱动”到“智能驱动”的转变。为此快手进行了众多的数据智能化(AI for Data)的建设探索,构建了专注于数据领域&兼顾通用场景的企业级 Agent —— Data Agent,具备数据全链路智能化能力,包括找数取数、数据开发、归因报告、人群洞察、AB 分析、埋点分析等能力。建设过程中除面临 Mutil-Agent协同、上下文管理、执行可靠性等通用问题,还面料 知识规模大奇异多准确性难保障、数据安全要求高 等数据领域特色问题。
演讲提纲
1. 背景:快手大数据智能化发展历程
- 传统生产、分析工作模式痛点
- 快手大数据智能化发展历程、业界发展思路对比
- DataAgent 整体架构 和 面料的核心挑战
2. 实践:基于 Mutil-Agent + Skill 的整体框架
- 父子 Agent + Skill 模式,如何协调通用能力和领域能力,并保障执行可靠性
- 上下文管理能力,通过 Skill & Tool 的动态加载、智能上下文卸载 & 压缩、智能长短记忆等,让 Agent 越用越智能越用
- 空间 + 研发包能力,满足不同业务隔离场景
3. 实践:知识工程
- 高质量/高精度准入数据集:冷启动种子 + 精度标尺 + 自生长土壤
- LLM-wiki 新型知识库:知识不再是散落的文档,而是“人机共建、结构统一、可版本化、可被 LLM 直接消费”的 wiki 化知识资产
- 知识飞轮:提问 → 召回 → 反馈 → 归因 → 迭代建议 → 知识更新 → 回归验证,形成闭环,保证知识“保鲜 + 保活”
4. 实践:效果评测
- Trace & 评测平台建设实践
- 评测集构建 & 自动化评测实践
5. 实践:生产 & 分析场景落地应用
- 端到端数据生产应用案例和效果
- 智能化数据分析应用案例和效果
6. 总结与展望
- 知识飞轮,通过线上真实问题的智能化洞察、诊断,构建知识飞轮。驱动 DataAgent 越来越准确
- Harnrss 工程,从性能、成本等方面持续优化,驱动 DataAgent 越来越高效易用
实践痛点
- 面临真实业务场景,百万级的数据资产规模,如何实现进行知识增强、消歧、准确召回是影响准确性的核心原因
- 数据场景提问返回,如果通过知识飞轮进行真实问题的分析诊断,发现问题(知识、工具等)推进 Agent 效果的持续进化
- 数据场景,如何进行不同业务领域能力的协同和隔离,如何处置爆炸式的上下文等
前沿亮点
- 具有特色的 DataAgent 建设思路:父子 Agent 模式、知识飞轮等具有特色的技术实践
- 真实业务场景下实践案例分享:结合快手真实场景,分享 DataAgent 的演进过程与实践效果
听众收益
- 了解 Agent 技术在数据领域落地面临的核心挑战
- 掌握 DataAgent 在 Mutil-Agent 协同、上下文管理等通用问题。和知识工程、效果评测等领域特色问题的实践解决方案
- 了解端到端数据生产、智能化数据分析的真实应用案例和效果