专题演讲嘉宾：鲁晶

“隐私合规成为刚需的今天”，随着移动端硬件算力增加，轻量化算法结构演进，AI 相关的业务端侧化成为趋势。AI 业务应用端侧化，让用户数据不出端，所有算法处理仅在用户本地，还要能结合用户本地的特征信息，实时响应用户需求，为用户提供更个性化的服务。

vivo 为了在视觉、语音、自然语言处理等领域为用户提供更实时、更安全的应用场景服务，打造了基于异构硬件的端计算平台 VCAP，为 AI 算法端侧化落地提供全链路解决方案。Jovi 语音输入法和应用推荐业务是 vivo AI 算法端侧落地的典型业务实践。语音的输入通常是用户的隐私输入信息，为了保护用户数据不出端，端计算平台支持 Jovi 语音输入法端侧落地。端计算平台的能力在 vivo 内部远不止这两个业务的落地实践，基本覆盖 vivo 自研所有端侧 AI 业务。欢迎各位同行对于端侧解决方案的应用场景应用沟通交流。

演讲提纲：

1. AI 业务端侧化背景

• 为了给用户提供安全隐私保护、实时响应的服务，移动端 AI 业务端侧化成为趋势
• 端侧 AI 业务发展繁荣离不开 AI 加速硬件、AI 算法、软件框架的支持
• 移动端业务落地的四大挑战：跨平台、高性能、轻量化、低功耗

2. vivo 的解决方案：建立端计算平台解决方案，助力多元化 AI 业务落地

• 端计算平台目标
  • 跨平台：支持多种硬件芯片平台，做到一次开发多平台使用
  • 高性能：使用多种深度优化方案，充分利用端侧硬件特性，加速 AI 算法在端侧的执行效率
  • 全能力：支持各种主流的算法，拥有丰富易用的工具集，不仅能支持端侧加速推理，还能支持端侧的加速训练，通用加速库
• 端计算平台架构设计
  • 模型层：多框架转换支持，自定义模型格式，模型可视化以及性能分析
  • 工具层：模型量化、模型压缩、通用图像加速
  • 框架层：算子优化、内存优化、调度优化、计算优化，端侧训练
  • 运行时层：基于硬件的汇编级并行计算加速

3. 端计算平台助力 vivo 典型 AI 业务落地实践

• 端计算平台在 Jovi 语音输入端侧优化实践
  • Jovi 语音输入法端侧落地挑战与解决方案
  • Transformer 复杂时序网络结构首次端侧落地
  • 精度效果要求下，端侧模型体积、运行时内存限制，性能优化挑战
  • 全平台硬件架构业务上线
    • 性能挑战
    • 功耗挑战
  • 语音输入法优化成果
• 端计算平台在应用推荐业务优化实践
  • 应用推荐端侧落地挑战与解决方案
  • 端侧训练框架首次业务落地
  • 端侧个性化模型与联邦学习云端模型效果聚合全链路挑战
  • 应用推荐优化成果
• 端计算平台在 vivo 其它的应用场景效果一览

4. 总结与展望

你将获得：

• 让听众了解视觉、语音、NLP等领域 AI 算法在移动端落地的解决方案，相关方可以借鉴端计算能力建设思想，也可合作使用 vivo 端侧开放能力
• 让听众了解 AI 业务移动端落地可能遇到的挑战，以及对应可采取的解决措施
• 让听众从语音识别和应用推荐业务实践，了解具体业务落地实战过程，可以以为相关方端侧落地提供参考