一个高效的超大规模向量近似最近邻搜索系统

所属专题:下一代大数据系统

嘉宾 : 陈琪 | 微软亚洲研究院系统研究组高级研究员

会议室 : 大宴会厅 3

讲师介绍

专题演讲嘉宾:陈琪

微软亚洲研究院系统研究组高级研究员

陈琪目前是微软亚洲研究院系统研究组的高级研究员。她于2010年和2016年分别在北京大学信息科学技术学院获得学士和博士学位,师从肖臻教授,博士期间主要从事分布式系统,云计算和并行计算方向的研究。她已经在国际顶级会议和期刊上发表了二十多篇学术论文,发表的论文曾获得过OSDI最佳论文奖和NeurIPS杰出论文奖。目前主要研究方向包括分布式系统,云计算,深度学习算法和人工智能系统。

议题介绍

演讲:一个高效的超大规模向量近似最近邻搜索系统

随着数据规模的快速增长,基于内存的向量搜索面临着海量且非常昂贵的内存需求,因此,人们对小内存-大硬盘混合型向量近似最近邻搜索的需求也越来越迫切。同时,传统的分布式搜索系统需要将每一个查询都分发给每台机器进行本地查询,这会导致查询延迟和资源开销会随着机器数量的增多而变大,系统可扩展性变差。因此,我们提出了一种非常简单且高效的基于倒排索引思想的内存-硬盘混合型索引和搜索方案SPANN,有效地解决了倒排索引方法中的三个会导致高延迟或者低召回的难题。实验结果显示,SPANN在多个上亿量级数据集上都能取得两倍多的加速达到90%召回率,其查询延迟能够有效地控制在一毫秒左右。同时,SPANN的设计能够有效地被扩展到分布式搜索中限制每个查询的资源开销和延迟大小,从而实现高可扩展性。目前SPANN已经被部署在了微软必应搜索中支持千亿量级的高性能向量近似最近邻搜索。

交通指南

北京·四季酒店

Beijing International Convention Center
地址:北京市朝阳区亮马桥路48号
  • 微信咨询

  • 电话咨询

    联系电话:+86 15600537884

微信联系我们

小姐姐