快速准确的实验能力可以说是现今互联网产品的增长基建。在 TME 中，每天都有多个同时在线的实验，覆盖众多业务及场景。实验平台从用户分流、策略下发到实验结果回收、策略效果评估及实验后分析等，结合了严谨的数据科学及工程实现。在本次分享中，我们将介绍 TME 实验平台的建设，以及在建设落地时遇到的问题及其中思考。

演讲提纲：

1. 建设 TME 实验平台背景

2. 分流架构

• 落地方案
• 方案验证

3. 效果检验流程 Step-by-step

• 实验指标选择 + 计算逻辑
• 各类型指标检验方法
• 天然差异处理
• 指标方差消减
• 多对比修正

4. 实验分析及更多

• 人群细分
• 反事实对照
• 更多

AB 实验几乎已成为当前主流互联网公司的标配能力，每天都有数以千 / 万计的实验在如火如荼进行。各家公司为了适应自身业务场景，都衍生了一些特有的 AB 实验评估方法，字节跳动也不例外。本次分享会重点阐述 实验平台创建至今，在关键评估方法和口径上的迭代，包括如何替换历史上一些看似迷人实则有害的做法，过程中会尽力通俗地讲清迭代背后的动机和统计学原理，以及如何真实影响业务使用，最后部分会介绍一些较为新颖的方法论和工具。希望分享内容能给参会友商提供一些参考。

演讲提纲：

1. 基础原理和平台介绍

• AB 实验基础原理
• 实验平台分流逻辑和常见指标分类

2. 评估方法主要迭代

• 从“AABB”到多组合并和组间修正
• 从“多天平均投票”到多天累计
• 从 underpowered 到流量预估和方差缩减
• 从进组出组到进组不出组
• 从“preaa 扔实验”到系统均匀性验证

3. 近期新颖方法

• DQ estimator 在双边实验场景的应用
• 基于多维下钻和因果森林的 HTE 工具

你将获得：

• 字节跳动非常重视数据驱动决策，AB 实验是其中重要一环，之前团队同学曾从工程视角进行介绍，本次分享将从统计评估视角揭开字节特色 AB 实验的神秘面纱
• 分享内容覆盖字节实验评估真实遇到的问题和解法，对实验评估处于相对成熟 / 初创阶段的友商，都具备一定启发性