在人工智能快速发展的今天，大语言模型正在重塑软件开发的范式。从最初的代码补全工具，到基于 Prompt 的智能助手，再到具备自主规划与执行能力的 Agent，我们正经历着开发模式的革命性转变。本次演讲将深入探讨如何基于大语言模型构建新一代智能编程助手，分享从概念到落地的完整实践经验。

我们将首先剖析当前研发效率的痛点，展示传统开发工具的局限性，以及大语言模型为我们带来的新机遇。接着，我们将详细介绍智能编程助手的技术架构，包括 Agent 的核心设计理念、工程能力构建方法、以及与 IDE 的深度集成实践。通过实际案例的演示，我们将展示智能助手如何在代码理解、生成、优化等场景中提供有效支持。

作为一线实践者，我们也将分享在工程落地过程中积累的经验与教训，包括架构选型、prompt 优化、系统集成等关键决策点的思考。最后，我们将展望智能编程助手的发展方向，探讨如何打造真正的智能研发伙伴。

演讲提纲

1.智能编程助手的痛点&问题

• 研发效率痛点分析
• 传统工具的局限性
• 大语言模型带来的机遇

2. 技术架构与核心能力

• Agent 架构设计
• 工程能力构建
• 多轮对话与记忆管理
• 代码知识图谱与上下文感知
• Prompt 设计与调优
• 代码理解与生成
• IDE 系统集成

3. 实践效果与案例分享

• 典型应用场景展示
• 真实案例演示

4. 经验总结与建议

• 工程实践心得
• 常见问题与解决方案

5. 未来展望

您认为，这样的技术在实践过程中有哪些痛点？

• 模型能力的不稳定性。同样的提示词，模型在不同时刻可能给出不同质量的结果。特别是在处理复杂代码时，有时会出现理解不准确、生成代码有错误的情况。为了解决这个问题，我们不得不增加大量的校验和修正机制，这就导致了系统复杂度的提升和响应时间的增加。
• 上下文长度的限制。在实际开发中，相关的代码上下文经常会很长，但模型能处理的内容长度是有限的。如果强行压缩上下文，可能会丢失重要信息；如果采用多轮对话来传递信息，又会影响效率和体验。这是一个需要在体验和效果间不断权衡的问题。
• 成本与效果的平衡。高性能的大语言模型调用成本很高，但如果使用较小的模型，又可能无法满足复杂场景的需求。我们必须在每个环节仔细评估是否值得使用大模型，有时不得不用规则加传统算法的方式来替代，以平衡成本和效果。

这些问题目前还没有完美的解决方案，需要在实践中不断调整和优化。重要的是正视这些局限性，在系统设计时充分考虑各种约束，找到最适合实际场景的平衡点。

演讲亮点

• 在 Agent 技术架构方面，不同于传统的 prompt 模板方案，将开发需求分解为具体步骤，并在执行过程中进行自我反思和修正
• 在上下文感知方面，构建代码知识图谱，实时构建代码的结构和依赖关系等，解决了大语言模型处理大型代码库时的上下文限制问题

听众收益

• 了解大语言模型在研发领域的实践路径
• 掌握构建智能编程助手的关键技术要点
• 获得可直接借鉴的工程经验

智能研发是快速发展又充满挑战的领域，除了卷上天的代码补全，基于代码的普通会话等场景外，还有基于大模型的 CodeReview，单测生成等能力陆续被开发出来并投入使用，也有部分团队开始探索端到端的生成代码，不过，随着大家在产品上越多的探索的，大家却大模型解决复杂问题越来越没什么信心了，问题究竟出在哪儿呢？是模型能力的问题还是发展阶段的问题？在智能化发展的现阶段我们应该做些什么呢？本演讲将结合在阿里内部的探索经验介绍大模型在各个发展阶段遇到的问题和解决思路。

演讲提纲

1. 阿里大模型的应用与挑战

• 应用场景与问题解决

  • 阿里在哪些领域利用大模型解决了什么问题

  • 大模型在阿里内部的用户提效场景

  • 数据驱动产品迭代：从 0 到 1，从 1 到 10 的实现路径

  • 业务驱动：智能插件与大模型在垂直业务中的应用及问题解决

• 面临的挑战

  • 交互、工程和数据上的困难

  • 垂直需求的自动化实现难题

  • 用户需求描述与业务隐性知识的挑战

  • 研发规范缺失与数据整合问题

  • 用户期望与实际应用的差距

  • 工程与业务上下文的整合难题

2. 技术架构与核心能力

• 架构设计与能力构建

  • 在代码补全上能力上同时对标 Github 和 Cursor

  • Promot 市场解决 IDE 的拓展

  • Extensions 市场帮助解决垂直业务问题扩展

• 基础能力提升建设

  • 仓库索引和仓库 Embedding 的基础能力建设

  • Prompt 设计与调优

3. 实践效果与案例分享

• 典型应用场景

  • 展示大模型在阿里内部的成功应用

  • 真实案例的演示与分析

4. 经验总结与建议

• 工程实践心得

  • 大模型应用中的常见问题与解决方案

  • 业务与技术结合的最佳实践

5. 未来展望

• 发展方向与创新

  • 大模型在阿里及业界的未来趋势

  • 持续优化与创新的路径

您认为，这样的技术在实践过程中有哪些痛点？

• 外部的智能化产品很难接触到企业内部研发平台的数据
• 企业内部的研发平台积累的历史数据存在数量不够和质量不够的两大问题，都给大模型使用带来困难
• 在复杂任务的实现过程中，而用户往往很难把需求描述清楚，这导致 Agent 的生成效果不尽如人意

演讲亮点

• 理性、客观地阐述大模型很难解决复杂研发问题的原因与解决思路。

听众收益

• 阿里内部的智能化产品是如何数据驱动和业务驱动智能化产品发展的，有哪些可借鉴的经验
• 了解当前大模型解决复杂问题上到底遇到了什么问题
• 了解内部智能化产品和工具存在的意义是什么，相比起外部第三方产品有哪些优势

为了解决低代码使用门槛太高，效率低的问题，2023年 CodeWave 相继完成了多种低代码 + AIGC 能力的研发，并成功商业交付了多个项目，但交付过程中发现，私有化模型的能力与 GPT 差距较大，且难以量化 AI 提效结果，同时 D2C 也面临识别准确率不高，难以商业化交付的问题。

本次演讲从提升 CodeWave AIGC 的商业化可交付能力入手，如何数据化的度量现有AI效果，分析现有能力瓶颈，并基于量化数据，构建并训练自定义的语言模型，建立 AI 工程化体系，同时如何结合多模态大模型能力及 Pipeline 架构来重塑 D2C 技术，希望能给各位听众带来度量和提升 AIGC 能力最佳实践的启示。

演讲提纲

1. 现状及问题分析

展示低代码 + AIGC 的思路及目前存在的问题：低代码 + AIGC 效果不及预期，难以度量

思考过程：

• 深入自然语言编程的产品技术能力，发现准确率上不去的原因

• 保证核心场景的准确率，提升低代码编程的体验，保证 AI 能力可度量，可量化

2. 数据驱动的 AI 工程建设

• 设计并通过 Benchmark 来评测 AI 基础能力

  • 建立 AI 提效的量化标准

  • 工程化平台的建设及基于评测结果的持续迭代

• 更好的架构支持-私有化和 SaaS 架构统一

3. 训练更好的语言模型

• NASL 语言介绍

• 思考语言能力的瓶颈在哪

• 提升语言本身的能力

• 设计更好的训练方式来 fine tune 模型

4. 如何设计更好的 D2C 能力

• D2C 技术的局限性

• 技术架构：基于多模态模型的 pipeline 架构介绍

• 增强 benchmark：保证页面还原场景的可验证性

• 设计稿规范和插件预检

• 多模态模型再训练的支持

5. 总结和展望

您认为，这样的技术在实践过程中有哪些痛点？

• 为语言模型准备合适的语料较困难，开源也没有合适的数据集

• 构建一个权威的 benchmark 成本高，业内缺乏  Web 侧实用的 benchmark

• D2C 能力的实用化需要依赖对多模态模型的足够了解

演讲亮点

• 训练一个自定义语言、DSL 的语言大模型的完整过程

• 成体系量化一个 AI 产品的提效数据

• 基于多模态大模型的，成熟可交付的商业 D2C 产品的技术架构

听众收益

• 量化并提升 AI 产品的效果

• 构建并训练开源私有化模型实现 ToB 商业交付

• 多模态大模型在 D2C 产品上的最佳实践

在大模型落地最直接的研发场景中，百度在哪些场景有过探索，产生了明显的收益。随着模型规模不断扩大，模型训练成本不断增加的背景下，如何通过工程化的手段，更好的提升推理效果，工程团队如何平衡工程和模型训练的投入产出，是文心快码的首要任务。此外，从组织维度上，为了更快更广泛的落地大模型对研发流程的提效，又需要做哪些事。这些我都将在本次演讲中跟大家分享。

演讲提纲

1. 大模型在研发的流程中如何助力开发者提效

• 大模型在研发领域的落地场景介绍
• 智能体如何更进一步的提升开发效率

2. 在代码生成场景，如何通过工程化的方式，提升模型的推理效果

• 相同模型，如何通过不同的提示词来提升效果
• 文心快码在丰富上下文中的探索经验

3. 脱离技术，如何从组织维度指导和提升人机协同

• 人机协同的定义与原则
• 组织维度落地人机协同范式的经验

4. 未来展望

您认为，这样的技术在实践过程中有哪些痛点？

• 模型的上下文窗口长度有限，如何识别相关的知识
• 对于续写这类需要更快返回的场景，如何平衡输入输出与推理耗时
• 人机协同范式的制定，是否是约束开发者的陈词滥调

演讲亮点

• 文心快码在上下文丰富和智能体中的探索和经验
• 百度在大模型提效研发流程落地过程中总结的人机协同范式

听众收益

• 了解大模型和代码助手类产品在百度的落地场景以及实践
• 深入到代码生成的场景，哪些上下文有助于提升推理效果
• 了解人机协同范式，如何更好的和 AI 协同

大语言模型不仅展现了强大的语言理解和生成能力，也展现了一定的推理能力和作为自主智能体的潜力。本次报告将介绍从 GPT-3 开始，大语言自主智能体的概念和发展的 3 个阶段，重点介绍第 3 阶段，即当前正在发展中的基于 GUI 和推理模型的大模型自主智能体。相比此前的对话智能体和基于 Workflow 的智能体，自主智能体将实现通用的智能代理能力，走出场景特化的局限性。报告将重点介绍 Phone Use 和 Computer Use 自主智能体的发展情况，比较这些方案的优劣，以及在实际例子上的表现，并且探讨接下来的大模型自主智能体发展的方向。

演讲提纲

1. 引言

• 大语言模型的崛起与能力背景
• 自主智能体的定义与重要性

2. 大语言自主智能体的发展历程

• 大模型智能体的第一/二阶段：

  • 基于非自主工具调用的大模型智能体
  • 基于系统提示和 Workflow 工具调用的大模型智能体（GPTs）
  • 系统提示与 Workflow 工具调用的原理
  • 实际应用案例与效果展示
• 基于 GUI 和推理模型的大模型自主智能体（发展中）
  • 最新进展与技术亮点
  • GUI 和推理模型的集成方式
  • 当前阶段的挑战与解决方案
  • 初步应用与前景展望

3. 方案比较与实际表现

• 三种方案的优劣对比
• 在不同场景下的实际表现分析
• 用户反馈与评价

4. 大模型自主智能体的发展方向

• 技术趋势与未来展望
• 潜在的应用领域与市场机会
• 研究与发展的挑战与对策

您认为，这样的技术在实践过程中有哪些痛点？

• 我们注意到模型在性能和效率上存在挑战，如高计算资源消耗和响应速度问题，这直接影响了其泛化能力和鲁棒性，导致在新领域或面对异常输入时可能表现不佳。此外，由于模型决策过程缺乏透明度，解释性成为一大难题，这进一步影响了人机交互和用户体验的设计。为了保持模型性能，持续学习和更新是必要的，但这又带来了版本控制和知识迁移的问题。最终，这些技术挑战和社会接受度、公众认知紧密相关，需要通过教育和宣传来提升公众对这项技术的理解和信任，从而促进其广泛应用和普及。

演讲亮点

• 端到端模型自主预测

听众收益

• 深入理解大语言模型自主智能体的发展历程与未来趋势，全面了解从 GPT-3 开始的技术演进、阶段划分及每个阶段的代表性技术和应用，并获得关于该领域未来发展趋势的洞察，有助于提前布局和规划相关技术的研究与应用。
• 分享将详细剖析大语言模型自主智能体在实际应用中的挑战，如数据隐私、模型偏差、解释性缺失等，并提供相应的解决方案和最佳实践，使听众学习到如何在实际项目中有效应对这些挑战，提升模型的性能和可靠性。

随着 LLM 的发展，越来越多的业务期望结合大模型能力构建其 AI 应用以智能化解决场景化问题。AI 应用的开发与传统工程开发存在众多开发范式的变革，AI 应用落地的过程中也存在诸多挑战。本次演讲将探讨字节内应对上述挑战的实践，讲述 AgentOps 平台如何助力业务高效开发迭代 AI 应用。

演讲提纲

1. 大模型时代的应用开发范式变革

• 微服务应用架构 VS AI 应用架构 
• AI 应用开发范式
• AI Agent 的演进

2. AI 应用开发中的问题与挑战

• 基于大模型的应用开发迭代方式有何不同？如何高效开发？
• 面对大模型的不确定性，如何高效评测 AI 应用以达到上生产要求？
• 如何对大模型自主驱动的 Agent / 应用更好进行观测、运维？
• 效果不及预期，如何进行推理结果的优化提升？

3. 字节 AgentOps 落地实践

• 3.1 AgentOps 平台的整体架构
  • AI 应用开发的全生命周期

3.2 Prompt 开发：从设计、调优到应用

• Prompt 调试优化工具与实践
• Prompt 版本化管理与生产应用

3.3 效果评测：AI 应用的生存之道

• 评测标准与流程的建立
• 评测集与评估器
  • LLM-as-a-Judge
  • Code Evaluator
  • Human-in-the-loop
• 业务实践
  • 基于 Golden Set 的效果准出评测
  • 基于线上数据回流的在线评测

3.4 可观测：洞察 AI 应用的全链路

• Tracing 数据的采集与消费
• 开箱即用的会话聚合与指标分析
• 业务实践
  • 可观测在 Coze 和豆包上的实践

3.5 数据飞轮：AI 应用效果提升的闭环

3.6 落地情况与经验总结

• 在字节内场的落地情况
• 实践难点与经验总结

4. 未来展望

• AI 应用开发者的核心诉求
• Agent 元年对 AgentOps 平台的机会与挑战

您认为，这样的技术在实践过程中有哪些痛点？

• AI 应用开发的范式不断创新与变革，如何寻求 AgentOps 的最佳实践

演讲亮点

• 字节跳动 AgentOps 的全流程实践
• AI 应用效果评测、问题定位、效果迭代优化的一手经验

听众收益

• 深入理解 AI 应用开发过程中会遇到的问题及解法
• AI 应用落地及效果调优的实践经验及最新认知

在当今的研发领域，人工智能正迅速地在代码补全、对话系统、文本到代码转换等多个应用场景中重新定义我们的工作方式。CodeFuse 是一款基于大模型构建的智能代码助手，经过一年多的快速发展，对这些研发场景提供了经过实践检验的解决方案。本次演讲我将分享 CodeFuse 在这些领域中的实践经验。

从人工智能在 2024 年度对研发领域带来的变革与机遇出发，阐述 CodeFuse 如何有效应对这些变化。探讨在整体架构设计上 CodeFuse 解决了哪些关键问题，以及其如何在各个研发场景中发力。随后，我将详细介绍本地核心服务的设计策略，通过实际案例展示如何结合本地与远程数据资源，进一步优化智能代码助手的 AI 能力。此外，我还将分享产品在落地过程中的宝贵经验和教训，并展望 CodeFuse 的未来发展路径。

演讲提纲

1. 人工智能带来的变化

• 2024 人工智在研发领域带来的收益
• CodeFuse 在提升研发效率与质量中的关键解决方案

2. 技术架构与核心能力

• CodeFuse 的整体架构设计与其技术优势
• 利用本地核心服务构建上下文感知（ICL）能力的策略
•  挖掘数据中的有效信息，提升 AI 能力
• 确保上下文感知（ICL）的扩展性以满足多样化业务需求

3. 实际效果和案例分享

• 典型业务场景的功能演示
• 基于实际应用的成功案例分享与分析

4. 经验与总结

• 工程实施中的挑战与应对策略

5. 未来展望

• 对智能研发工具未来发展方向的深入思考

您认为，这样的技术在实践过程中有哪些痛点？

• 模型推理速度以及 GPU 资源限制
• 补全和对话侧重点不同，数据提取和检索需要做多维度的考虑
• 复杂的 AI 任务，对工程和模型能力都有很高要求，效果不如预期

演讲亮点

• 解密 CodeFuse 智能代码助手的设计理念与构建策略
• 详细剖析如何在多元化业务场景中实现高效数据处理的技术方案

听众收益

• 深入了解人工智能技术在研发领域的实际应用与显著收益
• 探索 CodeFuse 智能代码助手的核心技术与其在项目中的实践经验
• 获得针对不同业务场景实施数据处理方案的具体见解和示例