在分析型 AI 落地过程中，我们常面临一个核心矛盾：追求确定性就要牺牲灵活性，追求灵活性就会失去确定性。具体表现为：传统 BI 报告稳定可控，但依赖人工，无法规模化；单一 LLM 方案灵活智能，但输出不可控，难以投入生产。这两种困境的背后，是同一个根源问题：分析型任务“不可验证”。由于没有标准答案，我们既无法高效审核人工报告，也无法信任 AI 的输出结果，导致规模化与智能化都难以实现。

本次分享我将介绍一套“验证者法则”的工程化实践：以特权信息构建可验证中间态，并通过多智能体与三模式控制机制，实现 AI 自主性与确定性的可调节平衡。这套方法已成功将上百个城市的经营分析报告生成时间从数天缩短至分钟级，为复杂分析任务的 AI 落地提供了经过实战检验的路径。

演讲提纲

1. 困境：分析型AI的“不可验证”瓶颈。传统 BI 效率低下，单一 LLM 不可信任，其共同根源在于分析任务无标准答案，导致 AI 输出无法被验证和迭代

2. 破局：“验证者法则”工程框架。核心思路是从验证答案转向验证过程，通过引入“特权信息”与多智能体架构，将模糊任务拆解为可验证的标准化步骤

3. 实战：两大关键技术剖析

• 三模式控制架构：详解“稳定/平衡/灵活”三种模式如何针对不同业务风险，实现自主性与确定性的动态平衡
• 可信数据基座：阐释“ NL2Semantic2SQL ”与“预计算”如何协同，将语义鸿沟转化为可管理的数据工程问题

4. 洞察与展望

• 分享实践认知，并展望从报告生成到决策建议的演进路径

您认为，这样的技术在实践过程中有哪些痛点？

• 确定性与灵活性的权衡：预计算保准确但固化，LLM 自主推理提灵活但准确性难控，三种模式的切换可能还是一个过程方案
• 语义鸿沟未彻底根治：语义资产沉淀是一个长期的工作，其建设的速度要与业务变化速度相匹配

演讲亮点

• 提出“验证者法则”：分享如何用“特权信息”和可验证中间态，破解分析型 AI 的信任难题
• 详解多智能体维稳术：揭秘“稳定/平衡/灵活”三模式如何在生产中平衡自主性与可控性
• 提供语义层实战经验：阐释“预计算+语义层”如何协同，解决 LLM 认知过载与数据可信问题

听众收益

• 一套破解 “分析型 AI 不可验证” 困境的系统性方法论
• 设计生产级多智能体系统的关键架构策略与稳定性保障经验
• 构建企业级 AI 分析平台时，关于语义层与数据基座的实践洞见

在 AI 重塑数据生产与消费的浪潮下，企业一边被数据“淹没”，一边却很难真正看懂每一个客户。本次分享以「Agent 时代的数据飞轮--从用户认知到互动营销实践」为主题，结合客户认知引擎、企业知识引擎与营销互动 Agent，展示如何把分散的行为数据和知识沉淀成可被 Agent 消费的“客户记忆与心智”，并在对话、圈人、匹配等关键触点中形成持续可度量的增长闭环。我将通过真实行业案例，拆解从底层架构到评测运营的关键实践，帮助企业在 Agent 时代把数据从“报表资产”升级为“陪伴客户旅程的生产力”。

演讲提纲

一、Agent 时代数据飞轮更加重要

• 决策频次暴涨：Agent 7×24 小决策，需要持续学习与即时校正
• 个体化与上下文敏感：数据的内容和体系需要面向 Agent 做重构
• 抵抗不确定性：Agent 不确定性需要更严格的数据跟踪和治理

二、用户认知：用户的分层记忆与动态意图

• 传统标签与人群体系的局限（静态、割裂、信息压缩）
• 分层记忆架构：行为事实 → 侧写 → 策略记忆
• 记忆到认知：基于记忆结构实现动态意图理解与策略规划
• 客户心智档案：时间轴与因果可追溯、按需唤醒

三、互动营销：Agent作为数据消费入口

• 营销互动助手：意图规划、路由与多智能体协作下的企业级Agent
• 智能圈人助手：深度分析与环境洞察驱动的人群构建
• 智能匹配助手：Agent驱动的商品/权益/文案/时机的个性化编排

四、语义运行时与评测运营闭环

• 企业知识引擎：结构化DSL + 向量 + 图谱的混合检索
• 负向词控制与对象/动作视角：保障可解释与可审计
• 全生命周期评测：开发→上线→运营的标准与方法
• 指标映射业务：识别率/命中率/时延 → GMV/留存/客诉

五、行业实践与落地路径

• 消费行业深度案例：从导购工具到“懂你”的助手
• 车企与证券：多场景、多意图的一站式超级 Agent 实践
• 实践痛点：数据治理、架构复杂度、业务建模、治理与迭代
• 落地路线：从单点试验到平台化能力的演进

您认为，这样的技术在实践过程中有哪些痛点？

• 架构与工程痛点：多智能体与 MCP 工具链复杂度高，需在接口标准化、可靠性与时延间做权衡，高并发场景易暴露瓶颈
• 业务建模痛点：如何将抽象的“增长问题”拆解为 Agent 可执行的意图、策略和指标，跨团队（市场、运营、数据、研发）统一语言的挑战大
• 运营与治理痛点：需在 Agent 的“自主探索”与“规则风控”间找到平衡点，并确保权限、隐私与审计合规
• 迭代与维护痛点：Skill 与知识库快速膨胀后，若缺乏统一的版本管理与 A/B 测试机制，难以持续衡量 Agent 调整带来的确切业务增量

演讲亮点

• 完整的“生产-消费-再生产”链路：不仅讲 Agent 架构，更从数据流转的视角，串联起数据生成、被 Agent 消费、再沉淀为新数据的增长飞轮
• 体系化的能力串联：将用户认知引擎、企业知识引擎、营销互动 Agent 和评测闭环置于“语义运行时”的统一框架下，提供可复用的架构参考
• 真实的行业指标对比：通过消费、车企、证券等案例，用明确的前后指标对比，展示 Agent 对业务的实际价值，而非停留在概念层面
• 技术与落地的平衡：既阐明了意图规划、多智能体、混合检索等关键技术，又给出了清晰的落地路线图，确保内容“可落地—可解释—可度量”

听众收益

• 认知升级：理解在 AI/Agent 时代，企业应如何重新设计客户数据的生产与消费流程，从传统的“标签体系”升级为动态的“客户记忆与心智模型”
• 架构参考：获得一套可落地的「客户认知 + 互动营销」技术架构，清晰了解数据层、知识层、用户认知与互动 Agent 之间的协同关系
• 场景洞察：识别用户认知引擎、营销互动Agent、企业知识引擎在自身行业中的潜在应用场景，为业务创新寻找具体切入点
• 路径规划：带走一条从单点试点到平台化部署的实践路径，以及在数据、架构、团队和治理层面需要预先规避的关键问题和应对策略

本次演讲将分享快手分析应用平台在大模型时代的演进路线，重点介绍大模型在快手分析平台的落地挑战和解决方案，包括智能找数、智能取数、分析解读等关键技术，分享快手内部智能分析实践经验，并展望其未来发展方向。

演讲提纲

1. 快手分析平台建设现状

2. 分析平台在AI时代路线选型
    a. 在传统分析平台建设智能化能力
    b. 构建AI时代数据分析产品：分析Agent
    c. 快手路线选型 

3. BI + AI 探索与实践
    a. 智能找数能力
    b. 智能取数能力
    c. 智能解读能力
    d. Agentic 分析Agent

4. 总结和展望
    a. 快手内部落地情况
    b. 分析智能化未来规划

您认为，这样的技术在实践过程中有哪些痛点？

• 准确性要求高： 数据分析领域，正确性是生命线。无论是智能取数还是智能解读，数据准确、逻辑无误，是技术落地的前提
• 时效性要求高：模型选型面临两难，大模型更强，但响应慢；小模型更快，但精度差。如何平衡速度与效果，是核心挑战
• 洞察能力要求高： 用户期待模型具备业务理解力，能够多维下钻、深度归因，输出可落地的决策洞察

演讲亮点

• 复杂业务挑战下，快手分析平台智能化的演进路径与技术选型
• 快手智能化分析的落地实践成功经验
• 快手在智能化分析方向的趋势洞察与前瞻判断

听众收益

• 了解快手分析平台在 AI 时代的演进路线
• 了解快手在智能分析方向的实践经验和解决方案

针对企业 Hive 元数据缺失、数据资产“搜不到、看不懂”的痛点，本次分享我将介绍基于 LLM 的元数据自动化增强与语义检索实践。通过 LLM 深度解析 DDL、SQL 血缘及 ETL 代码，配合精细化 Prompt 工程实现表/字段描述的规模化补全；并利用增强后的元数据，构建“向量+关键词”双路召回模型，辅以语义重排序（Re-rank）与生成式检索，将传统词汇匹配升级为业务意图理解。

演讲提纲

1. 背景与挑战：传统元数据治理的困局

• Hive 仓库中大量“僵尸表”、字段描述缺失（覆盖率低），人工维护成本高，开发者注释意愿低
• 传统基于关键词的搜索（Elasticsearch）高度依赖文字匹配，业务人员“搜不到、看不懂”
• 大模型契机：利用LLM现元数据自动化补全，并将搜索体验从“搜词”升级为“搜意图”

2. 基于 LLM 的元数据自动化增强

• 构建“ DDL + SQL 血缘+数据采样”的多模态上下文，引导 LLM 生成精准描述
• 通过提示词工程（Prompt Engineering）与长文本压缩，防止模型上下文溢出

3. 数据资产智能检索实践

• 构建“向量+关键词”双路召回模型，结合语义重排序提升命中率。
• 交互体验的提升：从“搜索框”到“检索顾问”

4. 总结与未来展望

您认为，这样的技术在实践过程中有哪些痛点？

• 利用大模型补全缺失的元数据信息，如何提升其准确率
• 如何将传统检索技术与大模型结合，生成业务可理解的检索结果摘要

演讲亮点

• 对于元数据缺失信息的补全与增强，利用大模型给了一种新的思路

听众收益

• 了解如何利用大模型对已有元数据的缺失信息进行补全

企业中 80% 的决策信息隐藏在音视频、邮件等非结构化数据中。传统分析方案因缺乏“对象视角”导致语义断裂，难以驱动实质业务行动。面对该问题提出一种 AI 原生的商业对象框架，重新定义了商业实体的数字化表达：底层通过数据对象化技术，将碎片信息重构为具备业务逻辑的动态语义模型；核心链路则利用事件驱动的感知机制，打通从深度洞察到自动化行动的闭环。助力企业跨越“仅记录数据”的阶段，实现向“数据驱动业务”的范式重构。

演讲提纲

1. 面临的问题与挑战

• 生产力黑洞：拥有海量数据，依赖无法支撑业务决策
• 传统 RAG 的碎片化痛点
  • 缺乏生命周期：文档块（Chunks）是静态的，而业务实体（人/项目）是动态演进的。
  • 上下文丢失：传统检索难以还原跨时间、跨模态的连续业务逻辑。
•  “只看不做”的断路：洞察与行动之间的逻辑割裂

2. 构建以对象为中心的语义模型

• 对象语义模型
  • 逻辑模型
  • 物理模型
• 对象构建的技术链路
  • 对象的更新与演进
  • 版本管理与回溯

3. 从洞察到行动闭环

• 技术架构
• 数据感知
• 动作执行
• 闭环系统的长期复利

4. 垂直场景：以客户对象为中心的落地场景

• 构建客户对象的语义模型
• 解决销售侧核心痛点

5. 总结展望

您认为，这样的技术在实践过程中有哪些痛点？

• 语义一致性与“多源真值”冲突
• 实体对齐的“长尾效应”（Entity Resolution）
• 洞察到行动的“决策幻觉”

演讲亮点

• “新”： 提出了“商业对象框架” 概念，展示了对 AI 原生架构的深度思考
• “全”： 突出了从底层感知到顶层执行的闭环
• “深”： 通过客户对象的设计，实现了垂直场景的深度实践

听众收益

• 了解如何以对象为中心、构建异构多模态数据的企业级语义模型
• 了解 AI 如何从单一工具演进为可组合的 AI 劳动力 (AI Workforce) 模式

在企业数据分析实践中，我们发现专业 BA 资源紧张、一次分析往往需要多轮人工拆解与验证，成为数据价值规模化释放的主要瓶颈。传统 ChatBI 更多停留在“取数问答”，难以支撑业务侧对成因解释、策略推演与持续分析的真实需求。美团数据平台 AI 应用团队基于实际分析场景，探索了一套 BA Agent 的落地方案：一方面，将业务常识、营销策略、分析套路等沉淀为结构化知识，并在 Agent 运行过程中进行组合与调用，使其能够按业务分析逻辑逐步拆解问题；另一方面，引入记忆机制，复用用户偏好与历史结论，降低重复分析成本，推动分析从一次性问答走向连续探索。

在工程实现上，我们结合图谱化 Schema Linking 优化 NL2SQL 的准确性，自研 Agent Infra 平台支撑多模块编排与能力演进，并构建以“机评为主”的自动化评测体系，覆盖准确性、可靠性等 85% 以上核心指标，用数据驱动 Agent 持续迭代。最终实现 BA Agent 从“能用”到“稳定好用”的快速演进。

本次演讲，我将分享 BA Agent 在真实业务场景中的落地路径与关键技术取舍，包括 Agent 全流程架构设计、业务知识沉淀与图谱构建方法、记忆机制与动态语义层实践，以及机评为主的评测体系如何支撑能力迭代，帮助大家理解如何让 Agent 在企业分析场景中真正“懂业务”。

演讲提纲

1. 分析的价值和挑战

• 业务分析的痛点
  • 专业 BA 人数有限，仅能覆盖管理层分析诉求
  • 从开始分析到产出报告，往往需要 1～2 周的时间
  • 每次分析 70% 时间花在确认口径和取数环节，而非真正分析
• ChatBI 的局限性
  • 只能回答"是什么"，无法回答"为什么"

2. BA Agent：从看见数据到洞察业务的跃迁

• 意图识别和澄清
• 取数
  • 不同取数方案能力边界、优劣势
  • 引入图谱做 NL2SQL Schema Linking
• 洞察
  • 洞察是在业务框架下持续探索的过程
• 可视化
• Agent Infra 平台技术实现
  • 全景图
  • 记忆模块（初始化意识 + 个性化记忆）
  • 数据基建升级（从静态宽表到动态语义层）

3. 让 Agent 真正"懂业务"

• 知识沉淀：业务常识、业务营销策略、业务 Goal、分析路径和偏好
• 业务知识图谱构建

4. 测评体系

• 测评标准（数据准确性、结论可靠性、视角全面性、分析深度和可视化）
• 构建业务评测集
• 机评为主，人工为辅

5. 效果展示与未来演进

• 分析人力释放、数据消费民主化
• 从"单点分析"到"策略推演"

您认为，这样的技术在实践过程中有哪些痛点？

• 业务逻辑的暗知识困境：那些存在于老分析师脑中但不在数据表、wiki 里的知识，Agent 很难准确掌握，导致“技术上通顺，业务上荒谬”
• 指标治理的历史债会被 Agent 进一步放大：BA 尚能依据经验“模糊对齐”有歧义的口径，Agent 上下文不够会将隐性治理问题直接转为显性的归因错误，甚至影响决策
• 分析结论没有唯一正解，人工测评成本极高：构建自动化测评机制，并持续打磨机评的准确率，逐步释放人力

演讲亮点

• 真实企业级应用验证，拒绝“玩具 Demo ”：基于美团数据平台服务数万业务的实战经验，深度解析。分享 BA Agent 在复杂业务场景下的真实演进过程
• 技术架构深度拆解：揭秘 Agent Infra 平台快速迭代背后的设计权衡，包括记忆模块"初始化意识+个性化记忆"的双层架构、NL2SQL与知识图谱的融合策略等
• 企业落地教训分享：从“ Data + AI ”转型实践中提炼关键教训，涵盖业务知识沉淀方法论、人机协作边界划分、动态语义层建设成本等真实踩坑经验

听众收益

• 技术架构启发：借鉴"意图识别-取数-洞察-可视化"的 Agent 全流程设计，以及记忆模块、动态语义层等关键组件的实战经验，优化现有 AI 分析系统的扩展性与业务适配性
• 知识工程方法：学习业务知识图谱构建方法论，掌握业务常识、分析路径、用户偏好等结构化沉淀策略，破解"Agent 不懂业务"的核心落地障碍
• 效能评估体系：参考机评为主的自动化测评标准与业务评测集建设经验，建立数据准确性、结论可靠性等维度的量化评估框架，驱动 Agent 能力持续迭代优化

本次演讲以 Shopee Data Agent的实战演进为主线，完整呈现企业级数据 Agent 从取数到智能分析的技术路径。内容涵盖五次关键跃迁：从单链路 RAG 到基于渐进式披露的 Multi-Agent 架构，引入用户画像与记忆体系实现个性化交互，通过语义模型突破 Text2SQL 准确性天花板，构建 File-as-Context 与 Sandbox 基础设施支撑复杂分析场景，以及基于 Skill 机制将专家分析经验沉淀为标准化流程。演讲还将分享元数据治理、全自动化评测 Pipeline 和运营闭环的工程实践，为听众提供一套覆盖数据 Agent 全链路的可落地方法论。

演讲提纲

1. 为什么数据消费需要 AI 重塑

• BI 演进的三个阶段：Excel 时代 → 自助式 BI → AI 驱动的增强分析  
• 企业数据消费的核心痛点：高门槛、响应慢、数据资产利用率低、认知断层  
• 我们的判断：仅降低取数门槛不够，还要让 AI 具备分析能力

2. 从 RAG + LLM 到 Multi-Agent 架构演进

第一版基于 LLM 的 RAG 架构上线后，真实用户反馈暴露了找表不准、业务知识缺失、SQL 准确率低等核心问题。为此架构从单链路 RAG 升级为 ReAct Multi-Agent，核心思路是分层检索、任务拆解与 Human-in-the-Loop，由 Supervisor Agent 统一编排意图识别、数据域定位、表发现、SQL 生成到可视化洞察的完整链路

关键技术决策：  

• 找数与知识召回：渐进式披露（Progressive Disclosure）
• SQL 生成：多路生成选优 + Generate-Reflection + 方言适配与自动修复  
• 知识体系：从 Hive 元数据到 Topic 运营知识的完整知识工程

3. 用户画像与记忆

• 画像 + 记忆与 Agent 架构的协同
  • 用户画像作为 Supervisor Agent 的"预加载上下文"，每次会话自动挂载  
  • 用户记忆纳入 File-as-Context 体系，作为可按需检索的个性化知识库  
  • 与运营闭环的打通：记忆数据经脱敏后回流，辅助发现共性问题和优化方向

4. 语义模型

纯 Text2SQL 让 LLM 直接面对物理表，复杂度高且业务语义丢失，存在准确性天花板。为此引入语义模型作为数据抽象层，采用 Text-to-DSL 与 Text-to-SQL 的混合路径来突破这一瓶颈。同时通过辅助语义建模 Agent，基于元数据和 SQL 日志自动推荐指标与维度定义，形成 AI 建模、语义查询、反馈优化的正向循环

5. 基础设施：File-as-Context + Sandbox

数据 Agent 涉及的上下文种类繁多，远超 LLM 上下文窗口。解决思路是将所有上下文组织为虚拟文件系统（File-as-Context），以渐进式披露为核心调度原则进行按需加载与卸载，大幅降低 Token 消耗。同时提供 Sandbox 沙箱作为安全隔离的代码执行环境，支持中间状态持久化，为多步分析流程提供工程底座

6. Skill 场景化分析

取数不是终点，用户真正需要的是理解数据背后的原因和趋势。通过 Skill 机制，将专家分析经验（如归因分析、KPI 解读）沉淀为标准化流程模板，由 Agent 在 Sandbox 中逐步执行。Skill 具备可复用、可信赖、可扩展的特点，在流程刚性与分析灵活性之间取得平衡

7. 元数据治理、评测与运营

• 元数据质量是 Agent 效果的隐形天花板，通过 AI 辅助生成表描述配合业务方 Review，大幅提升治理效率与找表准确率
• 全自动评测 Pipeline构建
• 运营侧搭建了效果 Review、知识补充与用户行为反馈挖掘的闭环后台，标注数据回流辅助自研模型持续优化

8. 效果总结与展望

• 打造 Agent-first 的数据基础设施，推动数据 Agent 从"AI 工具"走向"AI 员工"

您认为，这样的技术在实践过程中有哪些痛点？

1. 学术 benchmark 与企业实际场景的巨大鸿沟

• 开源数据集（Spider / WikiSQL）上的高分在真实企业环境中几乎不可复用——百万级 Hive 表、元数据质量参差不齐、业务术语高度私域化，传统 RAG + LLM 一步到位的方案在生产环境中准确率极低

2. 纯 Text2SQL 路线的准确性天花板

• LLM 直接面对物理表生成 SQL，需要同时理解业务语义、表关联关系和 SQL 方言差异，复杂度过高。引入语义模型作为抽象层是突破天花板的关键，但语义模型本身的构建成本又成为新的瓶颈——需要用 AI Agent 来加速建模过程

3. Agent 上下文管理的工程复杂度

• 数据 Agent 涉及的上下文种类繁多（元数据、业务规则、样例 SQL、查询结果、用户画像、用户记忆、分析中间产物），远超一般对话 Agent。渐进式披露的"层级划分"需反复调优——每层暴露多少信息，不同 Mart/Topic 的最优披露粒度也不尽相同，需要结合评测数据持续调整

4. 代码执行的安全性与隔离性

• 数据 Agent 需要动态执行 SQL 和 Python 分析脚本，生产环境中的安全隔离、资源限制、权限管控是必须解决的工程问题。Sandbox 机制在保障安全的同时，还需要支持中间状态持久化以服务于多步分析流程

演讲亮点

• 覆盖数据 Agent 完整技术栈的演进实录
• 渐进式披露在数据 Agent 中的系统性应用
• 语义模型 + Agent 的双向驱动
• 文件系统即上下文 + Sandbox 的基础设施设计
• Skill 机制：让 AI 分析"有章可循"

听众收益

• 了解企业级数据 Agent 从取数到分析的完整技术路径和每个阶段的关键架构决策
• 获得渐进式披露、File-as-Context、Skill 机制等可迁移的 Agent 设计原则
• 理解如何通过用户画像和记忆体系构建个性化数据 Agent
• 掌握语义模型 + Agent 协同提升 ChatBI 准确性的实践方法
• 借鉴 Agent 效果评测体系和自动化评测 Pipeline 的建设方案
• 了解元数据治理、运营闭环对 Agent 效果的关键影响及量化方法论