快速准确的实验能力可以说是现今互联网产品的增长基建。在 TME 中，每天都有多个同时在线的实验，覆盖众多业务及场景。实验平台从用户分流、策略下发到实验结果回收、策略效果评估及实验后分析等，结合了严谨的数据科学及工程实现。在本次分享中，我们将介绍 TME 实验平台的建设，以及在建设落地时遇到的问题及其中思考。

演讲提纲：

1. 建设 TME 实验平台背景

2. 分流架构

• 落地方案
• 方案验证

3. 效果检验流程 Step-by-step

• 实验指标选择 + 计算逻辑
• 各类型指标检验方法
• 天然差异处理
• 指标方差消减
• 多对比修正

4. 实验分析及更多

• 人群细分
• 反事实对照
• 更多