专题演讲嘉宾：张树波

单元测试可以提高整个项目的可靠性。传统特智能单测生成，依赖静态分析、动态分析等工具，对不同的语言需要重新适配。随着模型参数规模的提升，模型的代码理解、代码生成能力也大幅提升，使用模型端到端的生成单元测试，可以低成本地将单元测试覆盖到多种编程语言。

然而大模型在单测生成任务上仍存在模型幻觉（随机生成不存在变量名、方法名）和测试分支覆盖不全的问题。通过任务微调、强化学习等技术可以提升语言模型的单元测试生成语法正确率和分支覆盖率。经过测试，我们的 70 亿参数模型的生成效果不弱于通用版 ChatGPT 的水平，并且在低端显卡上的推理时延只有 ChatGPT 的 25%。目前，我们的大型模型单元测试生成分支覆盖率在实际项目中达到 56%，同时在抖音的 Android、iOS 双端落地，问题有效性达到 80%，修复率 65%。

演讲提纲：

1. 单测生成背景介绍与单测生成评估指标 

2. 传统单测生成方法介绍 

3. 通用大模型的单测生成能力评估 

• 大模型基座介绍与对比
• Prompt 对单测生成的影响
• 代码理解、生成能力评估
• 测试用例生成能力评估
• 通用模型存在的问题

4. 如何提升大模型单测生成效果 

• 通过任务微调提升分支覆盖率
• 通过强化学习缓解模型幻觉问题

5. 大模型落地工程实践 

• 大模型微调框架开发
• 大模型推理优化实践

6. 应用落地介绍与未来展望

你将获得：

• 大模型在单测生成领域存在的问题，以及如何缓解
• 大模型在单测生成领域的应用实践