单元测试可以提高整个项目的可靠性。传统特智能单测生成，依赖静态分析、动态分析等工具，对不同的语言需要重新适配。随着模型参数规模的提升，模型的代码理解、代码生成能力也大幅提升，使用模型端到端的生成单元测试，可以低成本地将单元测试覆盖到多种编程语言。

然而大模型在单测生成任务上仍存在模型幻觉（随机生成不存在变量名、方法名）和测试分支覆盖不全的问题。通过任务微调、强化学习等技术可以提升语言模型的单元测试生成语法正确率和分支覆盖率。经过测试，我们的 70 亿参数模型的生成效果不弱于通用版 ChatGPT 的水平，并且在低端显卡上的推理时延只有 ChatGPT 的 25%。目前，我们的大型模型单元测试生成分支覆盖率在实际项目中达到 56%，同时在抖音的 Android、iOS 双端落地，问题有效性达到 80%，修复率 65%。

演讲提纲：

1. 单测生成背景介绍与单测生成评估指标 

2. 传统单测生成方法介绍 

3. 通用大模型的单测生成能力评估 

• 大模型基座介绍与对比
• Prompt 对单测生成的影响
• 代码理解、生成能力评估
• 测试用例生成能力评估
• 通用模型存在的问题

4. 如何提升大模型单测生成效果 

• 通过任务微调提升分支覆盖率
• 通过强化学习缓解模型幻觉问题

5. 大模型落地工程实践 

• 大模型微调框架开发
• 大模型推理优化实践

6. 应用落地介绍与未来展望

你将获得：

• 大模型在单测生成领域存在的问题，以及如何缓解
• 大模型在单测生成领域的应用实践

随着企业数字化水位的提升，大部分行业客户对研发效能的关注点已经从局部效率优化延伸到端到端高质量交付，回归到一切为了业务和服务用户的初心。因此业务价值流驱动产品研发成为研发效能的提升的关键手段，也改变了传统企业软件开发模式。

本次演讲会围绕业务驱动设计、研发、测试这个新模式，谈一谈蚂蚁的思考和实践，尤其是与外部客户共创后，让方案更具普适性。文中会阐述如何结合 LLM 技术，围绕设计、研发、测试这条核心链路，通过智能的手段提质提效，也会阐述相关的关键能力和技术方案。

演讲提纲：

1. 研发效能的挑战和关键路径

2. 蚂蚁研发测试工具链架构

• 基于 DDD 实现的全流程辅助设计及辅助代码背景及概念
  • 智能设计的核心设计
  • 智能设计的应用效果
• 智能测试是支撑质量左移的利器背景及概念
  • 智能测试核心设计
  • 智能测试应用效果

3. 总结展望

你将获得：

• 以业务价值为核心，打通业技一体，可以有效提升全局效率
• 在 AI 加持下，研发测试工具链存在比较大的变革，能够覆盖从业务到代码的全链路

在软件测试领域，“猴子测试”一直是一种广受欢迎的方法，但其也存在着动作随机的局限性。如果我们将大模型引入，创造一只更聪明的猴子，它可以真正理解应用并像人类一样与之互动，这将会怎样？

微软打造并开源了下一代跨平台软件测试基础设施 Hydra Lab，目前微软内部由 Hydra Lab 支持的云测试框架每周运行 1w+ 个测试用例。为创造一只更聪明的猴子，今年我们接入了 LLM，以提高在测试结果分析、探索性测试和测试用例生成方面的能力。

本演讲将介绍 Hydra Lab 的技术思路，并展开对软件测试智能化的介绍并分享实践经验。

演讲提纲：

1. 从手动到工程化创新
2. Hydra Lab 和测试工程化
3. 智能涌现：更聪明的猴子
4. 大模型时代：智能测试和测试智能化

你将获得：

• AI 赋能下的测试全面性和深度：AI 技术可以帮助测试环境的模拟生成，测试数据的生成，智能探索型测试，测试用例的生成和优化，以及测试结果的分析解读
• 提升测试的稳定性和效率：智能调度和重试技术可以提高测试运行的稳定性和可靠性，同时减少测试时间和资源消耗
• 提供测试结果的诊断建议：基于测试结果的分析，AI 可以为测试人员提供有关潜在问题和改进措施的诊断建议，从而提升测试质量
• 对话式测试体验的构建：AI 技术可以用于构建对话式测试体验，使测试人员能够与测试工具进行自然的交互和指导，提高测试效率和准确性
• 这些技术的发展为软件测试带来了更多可能性，能够帮助测试人员更全面地覆盖测试场景，发现更多潜在问题，并提升测试效率和软件质量。通过了解和应用这些技术，产品开发团队成员可以在不断变化的软件开发环境中更好地应对挑战，并推动软件质量能效、质量内建向智能化和全面化的方向发展

IT 运维工具的主要功能正在从数据获取、数据处理转向数据分析。面对海量数据和复杂运维场景，智能化已经成为运维工具发展的重要命题。AIOps 是将人工智能的能力与运维相结合，基于已有的运维数据并通过机器学习的方式来进一步解决自动化运维无法解决的问题。

蚂蚁集团在大规模实践中，总结出智能根因定位、智能异常检测、智能性能优化与智能告警优化等一整套 AIOps 核心能力，基于这些智能化的能力，可以帮助运维团队在最大化降低故障率的同时，实现运维成本的降低。该方案目前已经在蚂蚁集团经过大规模实践、生产检验，在双 11、双 12 大促和生产稳定性中发挥了巨大的作用。本次演讲将把以上分享给大家，对于在分布式数字化转型中的其他公司，特别是由此产生的观测性数据乱、故障定位难、恢复慢等，有一定的启发意义。

演讲提纲：

1. AIOps 的背景、目标和历史

• AIOps 概念的提出和意义
• AIOps 国内外发展情况

2. 蚂蚁集团 AIOps 的主要技术和架构

• 数据预处理模块
• AI 数据检测模块
• 统计型算法
• 机器学习算法
• 异常处理模块

3. 蚂蚁集团 AIOps 涉及到的主要场景

• 智能告警
• 智能告警覆盖的主要场景：冲击、频率和趋势变化
• 智能告警背后的实现: 聚合和文本摘要
• 蚂蚁智能告警的特殊能力：多维度异常检测和业务标注
• 根因定位
• 故障决策树和风险处理
• 基于链路、日志和节点的异常分析系统
• 智能自愈

4. AIOps 的展望

你将获得：

• 了解蚂蚁集团如何在复杂分布式架构下，利用智能运维技术提升智能告警能力，增强智能根因定位能力，从而降低故障率，提升处置效率
• 了解 AIOps 技术的主要组成、原理和架构
• 了解 如何选择有效的 AIOps 智能算法，如何和已有的技术体系产生有效的连接、解决业务痛点问题
• AIOps 的未来演进之路

随着前端工程日益复杂，对研发效能提出了更高要求，在传统的开发模式中，从产品提出需求、代码的编写到项目上线这条链路中，存在很多繁琐冗长的不合理流程，我们通过不断探索与创新，将前端工程化结合AI人工智能，将重复冗余的流程通过智能化描述的形式实现开发提效，给开发者一个全新的开发体验与效能提升。

本次分享主要介绍大模型在日常研发的相关落地场景，主要讲解如何通过描述的方式进行低成本高效率的代码开发原理与实现，还讲解如何给大模型安装手、眼、耳、脸，通过多渠道获取信息数据进行分析并给出指令，结合描述式研发机制的基础实现项目迭代全流程自动化、智能化提效。

演讲提纲：

1. 背景介绍

• 大环境现状
• AI落地场景汇总：智能审核、智能 Oncall、智能生成稿件、Chrome 智能审核插件、智能回复、智能生成热点列表、创建投票、设计调研问卷、智能LowCode、NPC 智能化、研发提效

2. 原理与实现

• 描述式开发原理与实现：指令式 Prompt + LowCode + Terminal
• AI 拟人化原理与实现：结合工程化和 TensorFlow.js，给大模型安装手、眼、耳、脸
• 语音编程、语音操控项目、语音操控流程、语音模型训练的原理与实现
• AI 识别手画稿生成代码的原理与实现
• 通过 LangChain 接入第三方服务，实现大模型信息延伸与扩展的实践
• 线上项目智能修复、自我完善机制的原理与实现
• 基于AI的全流程开发原理与实现：开发、上线、监控、Bug 修复的自动化

3. 思考

• 风险+缺点：更新迭代快、返回不稳定、智能度太低、定制化严重、“万无一失、一失全无”、信息代码泄露、版权与责任方问题、黑产
• 前端 AI 智能化未来展望与思考：原子化开发、超级个体、Web3D 智能建模、AI 拟人化

你将获得：

• 了解如何将 AI 与前端工程化结合实现开发提效
• 了解 LLM 时代的大前端研发可能性
• 了解腾讯如何在日常研发的相关场景落地大模型

演讲提纲：

1. 大模型时代，低代码何去何从？
2. AI 驱动下的低代码架构设计
3. 如何超越 Copilot，从 Low-code 到 AI-code
4. 未来与趋势洞察

你将获得：

• 了解低代码与无代码
• 了解低代码 + AI 的实现思路
• 了解在实际场景中 AIGC 与低代码的实际结合应用
• 把握未来低代码的发展方向

ChatGPT 引发的热潮裹挟着大量的泡沫，各种“诱人”的工具和“炫目”的 demo 层出不穷。但在实际当中，GPT 等大语言模型到底能为程序员提升多少工作效率？我们应该设计什么样的工具辅助智能编程？什么样的工具才是真正好用的工具？

过去四个月我每天都在使用 ChatGPT、Copilot、DevChat 等各类智能编程工具解决日常工作中的各种问题，逐渐有了“手感”，知道了 GPT-4 的能力边界在哪里，适合做什么，不适合做什么，能做什么，不能做什么。

在本演讲中，我将分享 DevChat 工具的设计和架构，以及在简单性、扩展性和实用性之间做出的诸多选择，这些都是基于我们长期实践的真正务实有效的考量。同时，我将分享如何借助工具用 GPT-4 从 0 到 1 生成了开源项目 GoPool，成为全网性能测试最优的 Golang worker pool 之一，极迅速地追平同类人工开源项目的功能。介绍的实践包括用 GPT-4 来写代码、生成测试用例、解决 bug、生成中英文文档等，以及持续使用 GPT-4 来解决社区 issues、review 社区的 PR、回复社区问题等。这个过程中 GPT-4 带来了数倍的效率提升。

在这次的演讲中，我将以我用 GPT-4 维护开源项目的真实经历为实例，介绍如何正确使用 GPT-4，如何最大化挖掘 GPT-4 的能力，让其能够更大程度地助力程序员提升研发效能。

演讲提纲：

1. 开场和背景介绍

• GPT-4 的火热现象和其在软件工程领域的可能应用
• GPT-4 带来的“程序员失业焦虑”

2. 各种 GPT 类工具在软件开发中使用体验

• ChatGPT、Copilot 和 DevChat 等工具解决日常工作问题的经验分享
• GPT-4 类在软件开发过程中的能力边界、适用场景和局限性的探讨

3. 如何设计真正有效的智能辅助编程工具

• 从长期实践中总结出的设计原则
• DevChat 系统架构与设计选择

4. GPT-4 在开源项目中的应用实践

• 用 GPT-4 给 Helm 项目修复 bug 的过程介绍
• 用 GPT-4 从 0 到 1 生成开源项目 GoPool
• GPT-4 在编写代码、生成测试用例、解决 bug、生成文档等方面的应用
• GPT-4 在处理社区 issues、review PR、回复问题等方面的表现和效果

5. GPT-4 带来的效率提升

• GPT-4 在项目中的具体贡献和效率提升比例
• GPT-4 在提升研发效能方面的潜力和价值

6. 如何最大化挖掘 GPT-4 的能力

• 如何正确使用 GPT-4 的建议和经验分享
• 如何让 GPT-4 更大程度地助力研发效能提升的策略和方法
• 通过自定义 commands、精确的 context 控制等提升 GPT 生成准确度和使用体验

7. 结论和展望

• GPT-4 在软件工程领域的未来可能性和影响
• 对 GPT 未来发展的期待和展望

你将获得：

• 了解 GPT-4 在长期软件开发实践中的真实体验和效果
• 了解如何设计真正有效的智能编程工具
• 了解 ChatGPT、Copilot 和 DevChat 等工具在解决日常工作问题中优缺点对比
• 了解如何高效的和 GPT-4 沟通，GPT-4 在软件开发过程中的能力边界、适用场景和局限性
• 了解 GPT-4 在编写代码、生成测试用例、解决 bug、生成文档、处理社区 issues、review PR、回复问题等方面的实际表现和效果
• 了解如何通过自定义 commands、精确的 context 控制等方式提升 GPT 的回答准确度和使用体验等