专题演讲嘉宾：刘迟

人工智能是一项变革性技术，PayPal 开发了许多数据系统和AI工具来来解决各种业务的数据需求，包括欺诈检测、提高运营效率、为客户提供个性化服务和优惠、履行监管义务等等。几年前，当PayPal 开始将大数据和 AI/ML 扩展到所有核心业务领域时，越来越明显的发现，拥有一组定制数据系统和 AI 工具（通常在自己的数据孤岛中构建和运行）无法满足整个企业大规模采用大数据和 AI/ML 数据科学的需求。

为了解决上述问题，PayPal 设计并实现了一个统一的端到端的 AI/ML 数据科学平台，目标用户涵盖了公司内部不同业务部门（风控，合规、客户服务等），每天有成千上万的 Data Scientist 和Data Analyst 使用其来开发 Data Science和Machine Learning 解决方案。在生产中，数千个ML模型每天在本地和云端处理数百亿个实时和批量数据推理请求，从而满足整个 PayPal 公司的广泛业务需求。

本次演讲将重点分享如何实现企业级 AI for Data 平台的统一扩展与优化，以及 LLMOps 在 GenAI 应用中的实践经验。

演讲提纲

1. 传统的 AI for Data 平台面临的问题与挑战

• 业务需求复杂，定制度高，存在数据孤岛
• AI 领域技术日新月异，平台缺乏扩展性

2. 构建企业级 AI for Data 平台的指导原则与最佳实践

• Best-of-breed 架构，注重抽象与可扩展性
• 无缝集成企业生态系统，实现高效协作
• Self-service with Data Governance
• 可解释性 AI 和 Data Drift Detection
• Multi-tenancy 多租户架构实现
• 多云和混合云的支持

3. 从 MLOps 到 LLMOps，面向下一代 GenAI 的支持

• MLOps 与 LLMOps 的差异与挑战
• 构建支持 LLMOps 的基础架构
• PayPal 在 LLMOps 落地中的实践案例，快速扩展 GenAI 应用

4. GenAI for Data 架构详解与案例分析

• LLM 推理优化与模型压缩
• 构建 RAG 和 Multi-Agent 的低代码框架
• LLM 语义缓存
• LLM 的模型评估与幻觉检测
• PayPal 实际案例分析

5. 总结与展望

• 构建下一代 AI for Data 平台的关键经验
• 未来的技术趋势展望：LLMOps 与 GenAI 的进一步融合

实践痛点

• 数据孤岛与个性化定制需求：如何打破部门间数据孤立的问题，并应对不同业务部门对定制化需求的高要求
• AI 不可解释性与数据治理：在构建 Responsible AI 和数据治理框架时，如何解决 AI 模型的不可解释性和偏见控制问题
• 平台扩展与技术飞跃：AI 行业发展迅速，如何确保AI平台的持续可扩展性和技术更新迭代，与最新技术保持同步
• 快速扩展 MLOps 到 LLMOps：如何有效整合 LLM，降低生成式 AI 的部署成本，并最大限度减少团队间重复劳动

演讲亮点

• 企业级 AI 平台设计指导原则：PayPal 从实践中总结出一套适用于复杂企业环境的 AI 平台建设指导原则，并成功应用于跨业务场景
• Responsible AI 与 Data Governance 经验：PayPal 通过 Explainable AI 和 Data Governance Process 最大程度减少 AI 偏见，确保模型的公平性和合规性
• 平台可扩展性与未来性：通过 Best-of-breed 架构设计，确保平台具备高扩展性，能够应对行业快速变化，支持新兴技术的集成
• 从 MLOps 到 LLMOps，生成式 AI（GenAI） 平台构建经验：PayPal 基于已有基础设施迅速扩展支持生成式 AI，大规模提升了平台对 LLM 推理与训练的支持能力

听众收益

• 了解构建企业级 AI for Data 平台的指导原则与最佳实践
• 了解如何实现 Responsible AI 和 Data Security
• 了解如何确保构建的 AI for Data 平台能够与行业保持同步
• 了解如何快速的扩展 MLOps 到 LLMOps，集成 GenAI 技术到已有的平台
• 了解应对数千模型、数百亿推理请求的优化方法，提升平台性能与扩展性