专题演讲嘉宾：洪弘

酒店供应链运转过程中，存在大量非结构化数据，且分散在多个场景中。业务专家经常需要人工判断这些数据，使得人工成本大，且较难全量覆盖。 因此我们引入大模型技术，辅助各团队进行信息提取和结果自动标注。涉及商户、平台和用户的运营多个模块。 输入端特性种类多，范围广，内容杂，有酒店行业术语，样本量大且长短不一，内容差异大，口语化表达，标记数据少，且需要较高准确率。输出端特性多样化，包括分类、小结、开放式原因和满意度等。 我们建设了轻量化的 Pipeline，用于满足大量历史数据的推理。在各个输出模块上达到了 85%~99% 的精确度。

演讲提纲

1. 背景

• 开源大模型的技术背景与发展趋势
• 酒店供应链领域的业务背景与痛点

2. 大模型供应链领域应用实践

• 解决问题：供应链领域在入库、运营和服务等各环节中存有大量文本数据，需要人工判断，效率低且很难全量覆盖。通过大模型进行分类、情感识别、智能小结和智能审核等，从而提升效率，及时发掘问题点
• 关键技术：
  • 通过大模型进行类别和描述的专业词汇改写，选出最相似的两个类别，并且让 LLM 修改类别名称、合并类别、删除类别，加入人工检视，进行循环，直至选出的样本满足独立性要求
  • 使用 Kate With Inaccurcies 构建提示样本，结合 COT、TOT、GOT 等提升推理能力，生成高质量知识
  • 使用轻量级大模型，结合 DSS、CROP 等蒸馏学习超大模型的知识，进行任务编排
• 落地效果：通过模型推理优化和模型蒸馏提升模型推理速度和效果的案例

3. 轻量级大模型线上部署应用的总结与思考

实践痛点

• 大模型的推理速度如何进行优化
• 如何评估大模型在特定领域的性能，如何定义评估指标来指导模型优化
• 大模型推理的badcase如何进行优化解决，如何对大模型进行定期地性能优化
• 如何更高效地部署轻量级大模型，并缩小轻量级大模型与超大模型之间的表现差异

演讲亮点

• 轻量级开源大模型在酒店供应链领域中的创新应用
• 文本智能提取的多场景化解决方案

听众收益

• 了解轻量级大模型在具体领域落地应用的探索经验
• 了解大模型在特定业务场景中的技术优化方案和具体部署能力