如何利用在线实验提升算法工程效率

所属专题:以云为始的工程效率实战

所属领域: 工程效率

嘉宾 : 向杭 | 阿里巴巴高级技术专家

会议室 : 百宴厅3

讲师介绍

专题演讲嘉宾:向杭

阿里巴巴 高级技术专家

向杭,花名刑志,高级技术专家,2013 年加入阿里巴巴。现任阿里妈妈事业部工程生产力团队负责人。方向包括大规模算法与数据系统质量保证、实验效率提升、算法分析平台构建等。致力于运用技术手段,提升 AI 系统质量、监控、调试与分析能力,从而提升工业级算法迭代效率。带领团队在 SIGIR、KDD 发表多篇论文,涉及 CTR 预估模型可视化,大规模稀疏数据异常检测等多领域。 

议题介绍

地点:百宴厅3
所属专题:以云为始的工程效率实战
所属领域:
工程效率

演讲:如何利用在线实验提升算法工程效率

稳定压倒一切,如何在阿里巴巴的钱袋子做高频线上实验?A/B Testing 是算法模型进行在线实验的经典方法。Google 于 2010 年发表了分层正交实验论文,各大公司依此思想建立了分层实验平台,可以对流量多层正交,互不影响,从而大幅提升实验效率。 随着大规模机器学习技术的发展,高度复杂的深度模型被广泛使用,在线实验参数的变更,在后台会涉及复杂分布式系统数据切换,在线服务上线等一系列操作,会面临相当多问题,严重影响迭代效率。 阿里妈妈作为国内领先的商业广告提供商,高度依赖在线实验。在投放系统的各个阶段,如检索召回、排序、竞价,涉及系统上下游多个模块,同时迭代模型版本近百个,每日实验发布近百次。而在线学习等新技术使用,使模型变更更加高频化。错误实验会对系统造成急性或慢性损害,如分布式系统宕机,营收缓慢下跌,从而引发严重金融故障。 为了在金融系统做好在线实验,平衡效率与安全,我们研发了在线实验平台 WhaleShark,运用多种技术为业务提供帮助。目前已承载阿里妈妈所有场景广告,覆盖搜索直通车、超级推荐、品牌等多个业务场景,赋能用户进行模型、数据、配置、应用等多维高频变更。

内容大纲

1. 阿里妈妈业务与架构; 

2. 在线实验平台的挑战、产品与架构 ;

3. 新一代分层实验机制,包括独立分区,联合实验,混竞路由 ;

4. 容器化隔离,动态路由,环境自动构建; 

5. 模型特征交付与自动验证;

6. 监控与自动容灾;

7. 全链路数仓。 

听众受益

1. 如何利用在线实验提升算法系统迭代效率; 

2. 新一代分层实验机制,如何流量复用大幅支持搜索广告场景; 

3. 如何利用容器化隔离、动态路由、环境一键构建、灰度发布、模型交付等技术提升效率与稳定性; 

4. 深度模型与特征的自动质量方案; 

5. 如何进行实验级实时监控与容灾;

6. 如何信息化建设,关联利用算法各阶段数据,赋能业务演进。

交通指南

© 2020 Baidu - GS(2019)5218号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方
想要批量报名或更多优惠?
立即联系票务小姐姐 Ring
或致电:+86 17310043226