CLIP 模型在线上大规模部署的最佳实践

所属专题:ML模型效率与易用性

嘉宾 : 王峰 | Jina AI 高级算法工程师、Jina 核心贡献者

会议室 : 紫禁厅 2

讲师介绍

专题演讲嘉宾:王峰

Jina AI 高级算法工程师、Jina 核心贡献者

王峰,Jina AI 高级算法工程师。开源神经搜索框架 Jina 的核心贡献者,热衷于开源软件和云原生技术。毕业于山东大学,在香港浸会大学获得计算机博士学位。曾就职于腾讯科技和虎牙科技,专注机器学习与深度学习算法在自然语言理解,多模态表征学习和信息检索领域的实际应用。

议题介绍

演讲:CLIP 模型在线上大规模部署的最佳实践

CLIP 模型作为第一个打破 NLP 和 CV 界限的模型,已广泛应用在搜索、推荐、图像生成等不同的多模态应用场景。CLIP-as-Service 是一款基于 CLIP 模型的开源软件,方便开发者快速搭建高效、易用、支持弹性伸缩的 CLIP 模型服务。在本次演讲中,王楠博士将介绍 CLIP-as-Service 的基础架构和在提高 CLIP 模型服务效率方面的经验。

演讲提纲

1. 介绍 CLIP 模型
2. 介绍 CLIP-as-Service 架构
3. 提高服务效率的经验

  • Flash Attention
  • 半精度推理
  • AITemplate
  • CUDA Graph
  • TorchDynamo

你将获得

  • 了解最新的模型推理加速工具
  • 了解最新的多模态推理服务架构设计
  • 了解 CLIP 模型

交通指南

北京·四季酒店

Beijing International Convention Center
地址:北京市朝阳区亮马桥路48号
  • 微信咨询

  • 电话咨询

    联系电话:+86 15600537884

微信联系我们

小姐姐