大语言模型的爆发为诸多传统AI难以解决的问题带来了新的可解性，伴随大语言模型能力持续增强，AI应用进入了爆发前夜。然而从软件工程角度，AI研发与传统工程编码有较大差异。传统的编程逻辑（本质是“人类智能”），基于因果推理，确定的代码产出确定的逻辑结果，系统逻辑清晰、可解释性强，结果验证便捷，因此核心关注点即为代码本身。与之不同，由于当前基于 Transformer 架构的 AI 系统本质基于统计机器学习，AI 系统数据依赖强、可解释性差，且模型训练、验证耗时较长。这也为基于AI的产品发布上线后的快速迭代运营带来了挑战。Gartner 认为，到 2025 年，10% 具备完备 AI 工程最佳实践的企业，相比其他 90% 不具备此类实践的企业，AI 能效至少提升 3 倍。 本次演讲我将从业务场景出发，结合真实应用的业务流程（如：数据智能生成、数据管理、训练集群调度优化、测评准出等），阐述相关的系统架构与技术方案，并对 AI 开发平台如何构建组织内 AI 工程最佳实践提供未来洞见。

演讲提纲

1. LLM时代，AI 应用如何高效落地与持续迭代

• 背景介绍
  • 大语言模型的爆发为诸多传统 AI 难以解决的问题带来了新的可解性
  • 人工智能生产范式，转向以大模型为核心的开发路径，AI 应用进入了爆发前夜
• 痛点 1 ：
  • 如何提质增效：LLM 研发对数据、计算等资源要求巨大，研发面临：开发“烟囱化”导致的效率问题
  • 部署、评测流程“手工化”导致的质量风险
  • 研发资源“本地化”，导致硬件成本问题
• 痛点 2
  • 如何助力业务持续成功：基于 LLM 的 AI 应用在数据生成-训练微调-测评准出提出了新的环节和要求
  • 如何提升 AI 要素关联性，保障研发迭代与线上更新效率，成为业务持续成功的关键

2. 面向 LLM 时代的 AI 开发平台与 DL 时代差异，友商分析与解决方案设计

• LLM 落地业务设计与生命周期分析，AI 开发平台对 AI 应用的核心支撑点
• 国内外云厂商与研发机构，如何设计 LLM 时代的 AI 开发平台：产品定位与构建最佳实践对比分析
• AI 研发“驾驶舱”总体设计：释放 AI 研发团队潜能，加速 AI 应用高效落地与迭代，助力 AI 业务持续成功

3. LLM 时代，数据智能生成与治理、训练、测评准出模块架构与落地

• 数据智能生成与治理系统构建
• 训练平台与分布式调度的革新
• 测评准出与制品管理系统的设计
• 面向 ML 生命周期管理

4. 借助网络安全、多语言翻译等真实应用，分析基于“AI 研发驾驶舱”应用的经验与注意事项

• 研发驾驶舱在“降本增效”中的应用情况与经验总结
• 研发驾驶舱在“助力业务持续成功”中的应用情况与经验总结

您认为，这样的技术在实践过程中有哪些痛点？

• 数据智能生成环节中，基于强化学习的对抗数据生成未能深入探索，有进一步发挥空间
• 当前分析更多是基于目前 AI-Agent 应用演进构建的最佳实践，伴随大语言模型能力的持续提升（诸如 DeepSeek-R1 等推理模型的诞生），部分平台架构可能需要持续演进迭代，以适应最新的模型能力和应用研发趋势

演讲亮点

• 结合十余家业界主流 AI 开发平台调研以及大量真实AI应用研发需求，分享构建面向 AI 应用研发迭代过程的“AI 研发驾驶舱”的具体实践
• （据个人所知）业界首次提出，大语言模型时代 LLMOps 落地具体方案展望，供共同讨论提升

听众收益

• 案例讨论：面向大语言模型应用研发流程的AI基础设施，典型构建案例分析讨论
• 开拓思路：结合业界主流厂商，了解我们面向大语言模型时代的 LLMOps 系统构建思考
• 应用实践：结合真实应用案例共同探讨 AI 研发平台的下一步发展路径