百度Feed弹性近线计算探索

所属专题:弹性工程与运维

嘉宾 : 卢嘉龙 | 百度资深研发工程师

会议室 : 百宴厅3

讲师介绍

专题演讲嘉宾:卢嘉龙

百度资深研发工程师

2012年硕士毕业加入百度,随后主要从事定向广告,搜索系统,推荐系统等业务的架构研发。目前在百度Feed架构团队,负责推荐系统后端业务架构的技术研发工作。

议题介绍

演讲:百度Feed弹性近线计算探索

在生产环境的PaaS平台中,为了应对流量增长、负载尖峰、硬件升级、大规模局部故障等,通常需要留有一定的资源冗余。百度Feed后端服务在全网提供超过4个9的可用性,为了应对极端情况,各个地域的PaaS集群在设计上都有一定资源冗余。此外,为了控制成本,业务迭代需要取得合理的投入产出比之后,才能正式上线推全。因此,我们结合推荐系统的业务特点,设计并实现了一套介于在线和离线之间的弹性近线计算架构。相比于在线计算,近线计算突破了在线计算的速度限制,为业务计算提升复杂度提供了更大空间;相比于离线批量计算,提供了时效性更强,稳定性更更高的策略计算方式。通过弹性的近线计算架构设计,在速度、成本和业务复杂度之间提供了更大的折中空间,充分利用冗余资源进行计算,为业务提供廉价算力,累计降低了超过10%的在线计算资源成本。

演讲大纲

      1. 背景介绍

  • 推荐系统业务特点&百度Feed架构简介
  • 在线、近线&离线的基本概念弹性近线计算架构设计与实施

      2. 业务近线计算方案设计

  • 从冗余资源到可用的廉价算力的资源超发机制
  • 算力反馈、预估和计算参数动态调整
  • 计算量触发控制与调度
  • 历史计算信号&计算结果复用

     3. 弹性近线计算推广落地案例分享

  • 百度Feed推荐队列服务在线&近线混合召回计算
  • 搜索服务落地近线计算机制分享

     4. 总结与展望

听众受益

  • 利用冗余资源获取额外算力的机制
  • 策略&架构联合设计,安全的利用超发资源的设计思路
  • 有效利用流量低谷期资源的架构实践

交通指南

上海宝华万豪酒店

PRIMUS Hotel Shanghai Hongqiao
地址:上海市静安区广中西路 333 号
  • 微信咨询

  • 电话咨询

    联系电话:+86 17310043226

微信联系我们

小姐姐 Ring