专题演讲嘉宾：段潇涵

在当前快速发展的大型语言模型（LLM）时代，像 GPT 系列这样的技术正在改变我们对人工智能应用的理解，特别是在智能客服领域。ChatGPT 的问世更是为我们提供了全新的处理自然语言的方法。在研发领域，不论是提出问题的一方还是解答问题的工程师，答疑工作都是一个避不开的重要环节。

本次演讲将聚焦于研发答疑这一场景，探讨如何利用 LLM 技术协助值班人员提升回复效率，同时帮助提问者更快地找到问题的解决方案，从而整体优化答疑体验。我将结合具体的实际应用场景，深入讨论知识管理、模型交互和效果评测等关键技术方案的实施与应用。

演讲提纲：

1. 答疑场景遇到的体验问题：
   • 提问者视角：等待排队对及时性的影响，了解新技术时通读文档的成本问题
   • 值班人视角：接到过多的简单重复问题，常用知识沉淀的成本问题
2. 利用 LLM 改善答疑体验思路：
   • 建设知识库，涵盖已有沉淀的实践文档、手册文档、组件库文档站等内容，为常用的咨询类问题利用 LLM + 知识库自动提供回复
   • 利用 LLM 提供答疑过程总结，帮助值班人员快速沉淀 FAQ
   • 通过自动回复前置拦截 → 未解决进入人工答疑 → 自动沉淀 FAQ 闭环，逐步完善，提升自动答疑的覆盖范围
3. 技术方案：
   • 构建知识库
   • Splitting 环节
   • 文本切割方案，利用模型分析文本内容归类，依据文本类型选择更合适的切割方案
   • 针对文档内出现的表格、代码块等进行切割优化
   • 分析文档元信息、预设问题，辅助完善文档解析内容
   • Embedding & Recall
   • 多路召回召回方案，提升检索效果
   • 利用精排模型，二次提升检索准确率
   • 对话
   • 会话维度积累历史，压缩成为临时记忆，减少对 Token 的消耗
   • 会话历史沉淀给模型进行训练优化
4. 效果评测分析：
   • 积累答疑记录，持续沉淀为模型训练数据
   • 通过答疑前置拦截率，评价等关注智能答疑效果
   • 利用答疑记录分析可能的效果提升途径，如：知识覆盖度提升

听众收益点：

• 了解 RAG 理念，基于 LLM 的相关工程落地思路、技术要点
• 了解目前领域的难点与挑战，以及智能答疑领域后续可能发展思路