专题演讲嘉宾：李浩

AB 实验几乎已成为当前主流互联网公司的标配能力，每天都有数以千 / 万计的实验在如火如荼进行。各家公司为了适应自身业务场景，都衍生了一些特有的 AB 实验评估方法，字节跳动也不例外。本次分享会重点阐述 实验平台创建至今，在关键评估方法和口径上的迭代，包括如何替换历史上一些看似迷人实则有害的做法，过程中会尽力通俗地讲清迭代背后的动机和统计学原理，以及如何真实影响业务使用，最后部分会介绍一些较为新颖的方法论和工具。希望分享内容能给参会友商提供一些参考。

演讲提纲：

1. 基础原理和平台介绍

• AB 实验基础原理
• 实验平台分流逻辑和常见指标分类

2. 评估方法主要迭代

• 从“AABB”到多组合并和组间修正
• 从“多天平均投票”到多天累计
• 从 underpowered 到流量预估和方差缩减
• 从进组出组到进组不出组
• 从“preaa 扔实验”到系统均匀性验证

3. 近期新颖方法

• DQ estimator 在双边实验场景的应用
• 基于多维下钻和因果森林的 HTE 工具

你将获得：

• 字节跳动非常重视数据驱动决策，AB 实验是其中重要一环，之前团队同学曾从工程视角进行介绍，本次分享将从统计评估视角揭开字节特色 AB 实验的神秘面纱
• 分享内容覆盖字节实验评估真实遇到的问题和解法，对实验评估处于相对成熟 / 初创阶段的友商，都具备一定启发性