稳定压倒一切，如何在阿里巴巴的钱袋子做高频线上实验？A/B Testing 是算法模型进行在线实验的经典方法。Google 于 2010 年发表了分层正交实验论文，各大公司依此思想建立了分层实验平台，可以对流量多层正交，互不影响，从而大幅提升实验效率。 随着大规模机器学习技术的发展，高度复杂的深度模型被广泛使用，在线实验参数的变更，在后台会涉及复杂分布式系统数据切换，在线服务上线等一系列操作，会面临相当多问题，严重影响迭代效率。 阿里妈妈作为国内领先的商业广告提供商，高度依赖在线实验。在投放系统的各个阶段，如检索召回、排序、竞价，涉及系统上下游多个模块，同时迭代模型版本近百个，每日实验发布近百次。而在线学习等新技术使用，使模型变更更加高频化。错误实验会对系统造成急性或慢性损害，如分布式系统宕机，营收缓慢下跌，从而引发严重金融故障。 为了在金融系统做好在线实验，平衡效率与安全，我们研发了在线实验平台 WhaleShark，运用多种技术为业务提供帮助。目前已承载阿里妈妈所有场景广告，覆盖搜索直通车、超级推荐、品牌等多个业务场景，赋能用户进行模型、数据、配置、应用等多维高频变更。

内容大纲

1. 阿里妈妈业务与架构； 

2. 在线实验平台的挑战、产品与架构 ；

3. 新一代分层实验机制，包括独立分区，联合实验，混竞路由 ；

4. 容器化隔离，动态路由，环境自动构建； 

5. 模型特征交付与自动验证；

6. 监控与自动容灾；

7. 全链路数仓。 

听众受益

1. 如何利用在线实验提升算法系统迭代效率； 

2. 新一代分层实验机制，如何流量复用大幅支持搜索广告场景； 

3. 如何利用容器化隔离、动态路由、环境一键构建、灰度发布、模型交付等技术提升效率与稳定性； 

4. 深度模型与特征的自动质量方案； 

5. 如何进行实验级实时监控与容灾；

6. 如何信息化建设，关联利用算法各阶段数据，赋能业务演进。