Skip to content
  • twyman法则
  • ab测试十二个指标陷阱
  • ab测试三阶段检查清单
  • 赢家诅咒
  • 后选择推断
  • 偷看p值显著就停假阳性率飙升
  • AB测试效果不能简单相乘叠加交互效应被忽略
  • ε-greedy与UCB——多臂老虎机的探索利用困境
  • 梯度Bandit与关联搜索——从多臂老虎机到上下文老虎机
  • 探索利用困境统一序贯决策抽象
  • conformal-prediction
  • cuped-variance-reduction
  • multi-arm-experiment-design
  • two-stage-sampling-experiment
  • 微软ExP实验平台建设从工程挑战到组织文化变革Kohavi2009
  • 共形预测无分布不确定性量化AngelopoulosBates2022---

实验设计与在线对照实验——从统计显著性到组织可信度的完整体系

核心论点

A/B 测试是因果推断的黄金标准，因为随机化消除了混杂——它将处理组和对照组在期望上等化所有观察到的和未观察到的协变量，从而将关联转化为因果。但随机化只是因果识别的必要而非充分条件。在线对照实验的真正挑战不在于"跑一个 t 检验"——而在于绕开几十个统计陷阱和组织陷阱，它们可以在随机化完美的前提下照常使实验结果产生系统性误导。

本笔记将在线对照实验的知识体系组织为四个支柱：统计设计基础 → 实践陷阱诊断 → 组织流程保障 → 自适应实验。这四个支柱的递进逻辑：你不只需要知道怎么做（统计设计），还需要知道怎么发现做错了（诊断），还需要知道怎么让整个组织不做错（流程），最后需要知道如何让实验本身更高效（自适应）。

第一支柱——统计设计的数学基础

1.1 Fisher 的随机化原理与假设检验框架

A/B 测试的推理逻辑来自 Fisher（1935）的随机化推断：随机化这个物理动作创造了概率分布。在零假设（处理无效）下，处理组和对照组的标签是任意互换的——每个观测到的分配只是所有可能随机分配中的一种。p 值定义为：在所有可能的随机分配中，观测到当前差异或更极端差异的比例。

标准假设检验框架在此基础上叠加了 Neyman-Pearson 的决策结构： - α（第一类错误率）：零假设为真时错误拒绝的概率——宣称有效但实际无效 - β（第二类错误率）：备择假设为真时错误接受零假设的概率——有效果但没检测到 - Power = 1 − β：真实效应存在时正确检测出的概率 - MDE（最小可检测效应量）：给定 α、β、样本量下，能被检测到的最小真实效应量

一二类错误之间存在跷跷板关系：固定样本量下，降低 α 必然提高 β，反之亦然。唯一的双降方式是增加样本量——这直接对应到实验中"多跑一阵"的决策。

1.2 多重比较：为什么看越多指标越不可信

当实验者同时监控数十个指标、多个用户分段、多个处理变体时，显著性阈值 α = 0.05 的保证被系统性破坏。做了 20 次独立检验后有 64% 概率至少出现一次假阳性——这不是小概率事件，而是大概率事件。

控制的三种标准方案： - Bonferroni 校正：α / n——最保守，假设所有检验都独立 - Benjamini-Hochberg 步骤：控制 FDR（False Discovery Rate）——比 Bonferroni 更温和，允许少量假阳性，适合探索性分析 - Holm 逐步校正：在控制 FWER（Family-Wise Error Rate）的同时比 Bonferroni 更高效

A/B 测试平台的推荐实践：为 OEC（Overall Evaluation Criterion，整体评估标准）保留固定的 α = 0.05 阈值，对次要指标使用 FDR 控制。这样既保护了决策的关键指标，又不至于过度惩罚有价值的探索信号。

1.3 序贯检验与偷看 p 值问题

这是产品实验中最常见的统计罪——不是因为恶意，而是因为"看数据"是人类好奇心驱动的自然行为。每天偷看一次 p 值并在显著时提前停止，假阳性率从 5% 飙升至 25%+。其数学本质是：P(至少一次假阳性) = 1 − (1 − α)^n——五次偷看后累积 Type I 错误率约 23%。

解决方案分为两条路线：

频率学派路线——α-spending 函数与 SPRT（Sequential Probability Ratio Test）：明确建模了"多次偷看"的统计后果。α-spending 将总 α（如 0.05）分配到一个函数 α(t) 上，随 t 增长而逐渐"花掉"——开始时保守（阈值极高），后面逐渐放宽。SPRT 则连续计算似然比，在任一时刻如果证据足够强即可停止。

贝叶斯路线——可选停止不膨胀错误率：贝叶斯框架天然免疫 peeking 问题，因为后验概率在观察到新数据后自动更新，不需要预设检验次数。贝叶斯 A/B 测试允许在任何时间点查看后验概率 P(B > A | data)，如果概率超过预设阈值（如 95%）即可宣布结果——这个决策规则不会膨胀错误率。

1.4 赢家诅咒与后选择推断

"赢家诅咒"（Winner's Curse）是一个统摄性统计现象：从多个备选结果中"选择"显著的那个时，被选中的恰好是噪音与真实效应同向叠加的观测值——观测效应量系统性地高于真实效应量。这本质上是条件期望偏差：E(Δ | |Δ̂| > threshold) ≠ μ。

在多臂实验（multi-arm experiments）中尤为严重——实验者从多个处理组中挑选最优组时遭受双重选择偏差：第一次在众多指标中选择显著的那个，第二次在众多变体组中选择最优的那个。

Deng 等人（KDD 2021）提出的 Ghidorah 三头怪兽混合先验提供了精巧的修正方案： - 零成分：代表多数实验没有真实效应（实践数据显示 70-80% 的营收指标无移动） - 高斯成分：代表渐进式微小效应 - 拉普拉斯成分：代表突破性厚尾效应

通过 EM 算法估计混合权重和尺度参数，用 Tweedie 公式计算后验均值与方差。这个设计的优雅之处在于：对零附近的效应强力收缩（大量实验本质无效应），对大效应几乎不收缩（拉普拉斯厚尾的"有界偏差修正"属性）——在修正选择偏差的同时保护真正突破性发现。

1.5 交互效应与因子设计

大多数 A/B 测试平台假设"实验间无交互"——即多个显著实验的效果可以简单相乘叠加。但用户行为通常是乘性或交互的： - 叠加（Synergy）：价格优化让用户更认真看详情 → 社会证明效果更大（1+1>2） - 抵消（Cannibalization）：运费提示已解答顾虑 → 社会证明不再增加说服力（1+1<2） - 反转：价格优化吸引价格敏感用户 → 他们恰对社会证明反应较弱（1+1<1）

实践补救：不要只做 A/B 测试——做 A/B/C/D 的因子设计（Factorial Design）。因子设计同时测试多个变量的主效应和交互效应，虽然需要更大样本量，但它能揭示单纯叠加所掩盖的协同或抵消。至少应在叠加多个实验后做一次全量验证 A/B——对照组全旧版 vs 实验组全叠加——即使不知道哪两个实验交互，至少知道总效果不等于逐个乘积。

第二支柱——实践陷阱与诊断

Dmitriev 等人（KDD 2017）在微软数千次实验中总结的十二个陷阱构成了比纯教科书统计学更贴近工业实践的风险图谱。以下五个是其中优先级最高、破坏力最强的：

2.1 样本比率不匹配（SRM）——矿井中的金丝雀

SRM 是处理组的用户数（或流量比例）显著偏离预期分配比例的现象——比如 50/50 分配但实际到了 48/52。这几乎总是意味着实验出了问题：分流系统 bug、JavaScript 执行失败导致处理未应用、缓存策略差异、僵尸流量污染。SRM 出现时，所有后续统计推断都不再有保证——它是整个实验可信度的最低门槛。

防御：对所有实验自动化卡方 SRM 检验，SRM 失败时自动告警并暂停实验。这是"不能跳过"的检查——p=0.001 的漂亮结果在 SRM 失败的实验中和无意义噪点没有区别。

2.2 辛普森悖论与分段分析

比率指标的分子和分母同时变化时，比率的变化方向可能完全误导。典型场景：模块向上移使 CTR "暴降"40%，实际是因为曝光量暴增 200% 而点击仅增 74%——整体 CTR 下降不是因为模块变差，而是因为"分母爆炸"。

更微妙的是分段诱杀：各分段指标全部提升但整体指标下降（或相反），因为处理同时改变了分段的构成。所有在实验后做的"下游分段分析"本质上都是附加的多重比较——分段越多，假阳性越多。

2.3 新颖效应与首因效应——时间维度

短期效果随时间衰减（新颖效应）或随时间增强（首因效应）。不区分则可能误判长期影响——新颖按钮第一周 +12%，第二周 +3%，第三周 -1%（用户腻了）。

防御：分段查看日级/周级效应趋势，用累计效应 vs 即时效应曲线区分。如果曲线持续发散 → 真实效应；如果收敛 → 新颖效应。第二周数据分析至少要覆盖一个完整的使用/购买周期。

2.4 Twyman 法则——意外的好结果比坏结果更危险

Twyman 法则原始表述："任何看起来有趣或不同的数字通常是错的。"在 A/B 测试中的扩展形式：意外的好结果应该和意外的坏结果一样保持怀疑。

人性的陷阱在于：我们对负面的意外结果天然抱持高度怀疑——点击率掉了 20%？"肯定是 bug"。但对正面的意外结果容易轻信——点击率涨了 20%？"说明我们的设计思路对了"。两次微软真实案例：一次是 MSN 按钮替换实验表现出全面正向的漂亮数据，深入调查发现用户因行为改变产生困惑、反复点击——若推全将导致大规模用户不满。另一次是 Windows Store 热门应用页面浏览量增加 10%，原因竟是处理组页面配置错误导致没有内容显示，用户反复尝试打开。

Twyman 法则在贝叶斯框架下的操作化解读：如果一个实验结果与先验预期（实验会影响哪些指标、影响幅度有多大）偏离过大，合理的推断不是"我们发现了奇迹"，而是"先验告诉我们这大概率是数据或实验设计出了问题"。

2.5 遥测丢失偏差与工程卫生

客户端数据丢失率在处理组和对照组之间不同——本质上是一种隐蔽的 SRM。JavaScript 行为变更可能导致处理组用户更多的 dataloss（如页面前置关闭）、缓存策略差异导致一端的埋点日志缺失。根源在于产品工程实现细节，而非纯统计学谬误。

工业界 A/B 测试的可靠性依赖于"统计推理 + 工程卫生"的双重保障，两者缺一不可。遥测数据采集的正确性要求在实验设计阶段就介入——在代码实现之前定义触发式遥测（triggered telemetry）的准确性验证方案。

第三支柱——组织流程与实验文化

Fabijan 等人（ICSE-SEIP 2019）基于微软、Booking.com、Airbnb、Netflix 等九家大规模实验公司的经验，提炼了三阶段检查清单。其核心理念借用 Atul Gawande 的《清单革命》：清单解决人类的两个核心难题——易错性和跳步倾向。

3.1 三阶段检查清单的递进设计

清单一——实验设计分析（启动前）：十项检查中最关键的三项是 (1) 可证伪的假设定义——模板为"基于[洞察]，我们预测[变更 X]将导致[影响 Y]"；(2) 四类指标的定义——数据质量指标、成功指标（OEC）、护栏指标（guardrail metrics）、功能指标；(3) 通过 A/A 测试验证随机化质量。

清单二——实验执行分析（运行中）：三项检查——SRM 检验、护栏指标恶化检测、提前停止可行性评估。不鼓励在传统 NHST 框架下仅因 p 值显著就提前停止，建议依赖平台级的序贯检验方案。

清单三——实验终检分析（结束后）：九项检查——验证统计功效足够（不应用观察到的效应量做功效计算）、数据质量指标未恶化、按四类指标顺序评估、排除新颖效应、进行异质性深度分析。

3.2 清单最深刻的洞见——大部分分析工作在实验启动前

这颠覆了"分析是实验结束后活动"的直觉。预注册式假设定义、最小效应量前置设定、航运标准预先明确——本质上都是"决策卫生"（decision hygiene）操作化的实例。Kahneman、Sibony 和 Sunstein 在《噪声》中指出：减少决策噪声的有效策略不是提高个体判断力，而是通过结构化流程去偏。三阶段清单就是去偏基础设施——它阻止了最危险的两种人类行为：(1) 实验结束后根据看到的结果"回溯修改"假设（HARKing——Hypothesizing After Results are Known），(2) 在多个指标中挑选显著的那个再反向论证其重要性。

3.3 清单的组织经济学含义

清单解决了"委托-代理"难题：当一线工程师而非统计专家成为实验的主要执行者和决策者时，个体激励（快速迭代、展示正面结果）可能与组织目标（做出正确决策）产生偏离。清单通过将专家隐性知识显性化为可执行的标准化步骤，实现了实验能力的民主化——降低了组织对稀缺数据科学家的依赖。

三个常见组织症状的对策： - 缺乏实验协调 → 设立实验协调员角色和实验评审会议 - A/A 测试持续失败 → 暂停实验，排查分流偏差或共享资源争用 - 持续无法做出决策 → 明确航运标准，设计单一复合成功指标

3.4 护栏指标——保护组织不因实验而受伤

护栏指标（guardrail metrics）是四类指标中最容易被忽视但风险最高的一类。它们不衡量实验的成功，只衡量实验的不伤害——延迟、崩溃率、收入、用户投诉量。护栏指标大幅恶化时应触发自动关停，无论 OEC 多漂亮。护栏是组织对"实验可能有害"这一事实的制度化承认。

第四支柱——从固定样本到自适应实验

传统 A/B 测试的隐含设定：固定样本量、运行到结束、一次性决策。但业务现实要求更灵活的设计——早期停止失败实验、加速推广明显优胜者、同时探索多个方案。这引入了探索-利用困境以及一系列自适应方法。

4.1 固定样本 vs 序贯停止

固定样本实验在样本量达到预设计算值之前不能做任何决策。序贯检验通过 α-spending 函数或贝叶斯后验概率提供了可控的早停能力。两者的本质权衡： - 固定样本：统计保证最强（名义假阳性率精确可控）但决策速度最慢 - 序贯检验：决策速度更快但需要更复杂的平台支持（不能"手动偷看"，必须在平台层内建序贯逻辑）

4.2 探索-利用困境：A/B 测试的成本不仅是统计的，也是机会的

探索-利用困境是所有在不确定性下做序贯决策的问题的统一抽象。每分配给探索（测试 B 版本）一个用户，就放弃了一次利用（给用户最佳已知体验）的机会。这是 A/B 测试的隐性机会成本——大多数实验平台不计算，但它真实存在。

关键洞察：探索-利用权衡的最优解取决于剩余时间。如果只剩最后一次决策，纯利用最优——没时间享受探索的回报。如果有无限次决策，应该侵略性地探索——长期收益压倒短期损失。这解释了为什么初创公司比成熟公司更激进地尝试——不是因为更"创新"，而是因为存量更少 → 探索的机会成本更低 → 最优探索水平更高。

4.3 多臂老虎机作为自适应 A/B 测试

多臂老虎机（Multi-Armed Bandit, MAB）将 A/B 测试的决策逻辑从"固定时间点的一次性比较"升级为"连续在线优化"。三种经典算法代表了三条不同的技术路线：

ε-greedy——探索的盲目均匀定价：以概率 1−ε 选择当前最优动作，以概率 ε 均匀随机探索。所有未知动作的探索价值相等——不区分"接近最优但还不确定"和"已经无数次验证表现很差"。最简单但效率最低——如果你有 10 个备选方案其中 9 个显然很差，ε-greedy 仍然以 ε × 9/10 的概率浪费在差方案上。

UCB（Upper Confidence Bound）——定向乐观探索：选择最大化 Q_t(a) + c √(ln t / N_t(a)) 的动作。平方根项是对不确定性的溢价——少被采样（N_t(a) 小）的动作估值"加勋章"推到前端，长期不被选则因 ln t 增长而勋章积累迫使重探。UCB 将"信息价值"隐含地折入了动作评分中，比 ε-greedy 在效率上有显著提升，但更难推广到非平稳环境。

Thompson Sampling——贝叶斯全分布驱动：为每个动作维护后验分布 P(θ_a | data)，每次决策从各后验中采样一个 θ_a，选最大的执行。这使 TS 具备"概率匹配"属性——一个动作被选中的概率恰好等于它是当前最优的概率。Thompson Sampling 的优势在于：天然适合非平稳和带结构先验的场景，不需手动调探索参数，且可选停止不膨胀错误率（贝叶斯框架的属性）。

三者在标准测试集上的排序约为 UCB ≈ Thompson Sampling > ε-greedy，但 TS 在工程实践中的优势远大于 benchmark 数字——它把"探索价值"从频率学派的点估计框架升级到了全分布的贝叶斯框架。

4.4 上下文老虎机——从 A/B 到个性化

标准 A/B 测试回答的是"整体上 B 是否优于 A"。上下文老虎机（Contextual Bandit）回答的是"在上下文 x 下，哪个动作最优"。当用户特征、时间、环境条件可以区分时，最优策略不再是单一全局最优——它在每个上下文中可能不同。

上下文老虎机是 bandit 到完整强化学习的中间形态：动作仍只影响即时奖励（不像完整 MDP 中动作还改变下一状态），但最优策略取决于情境。这在商业应用中比完整 RL 远更成熟——个性化推荐、动态定价、自适应 UI——因为"即时奖励"假设在大多数场景中是合理的近似。

从因果推断视角，上下文老虎机本质上是一个基于观测数据的动态处理分配问题——在每个上下文中学习哪个处理（动作）能最大化期望奖励（结果）。如果数据来自随机化实验或满足无混淆假设，可以用逆概率加权（IPW）或 doubly robust 估计器学习最优策略。区别在于因果推断通常关注"从一批历史数据中学习固定策略"，而上下文老虎机是在线交互学习的连续版本。

4.5 Conformal Prediction——为实验监控提供统计契约

Conformal prediction 提供了一条独特链路：将任意黑箱模型的启发式不确定感转化为有覆盖率保证的预测集。其核心保证是边际覆盖率——在无任何分布假设或模型正确性假设的前提下，给定置信水平 1−α，构造的预测集包含真实值的概率始终不低于 1−α。

在 A/B 测试中的应用场景：用 conformal prediction 构建处理效应的时间序列置信带，监控实验运行中的异常波动。与传统置信区间不同，conformal confidence bands 不需要正态性假设、不需要指定模型形式、不需要渐近理论——它把对模型正确性的依赖转化为一个有限样本、分布自由的契约：无论底层模型多粗糙，覆盖率的保证始终成立（代价是预测集可能因模型差而过大）。

Conformal prediction 的固定校准-测试流程（训练 → 校准集 → 测试）与预注册分析的逻辑惊人一致：校准集的作用类似预定义阈值——它阻止了事后反复调整来"适配"数据。在这个意义上，conformal prediction 不仅是一个统计工具——它是一种将工程直觉转化为数学契约的范式。

跨域链接

  • → 概念笔记「博弈论基础——策略互动的数学语法」：A/B 测试的 SUTVA 假设在竞争环境中被系统性违反——处理组的变化触发竞争者反应 → 这种反应影响对照组 → 标准因果估计有偏。混合策略（Thompson Sampling 的随机化选择）在竞争环境中提供策略模糊性——使竞争对手无法确定性地针对你优化。布雷斯悖论警告新功能的"策略空间扩展"效果——增加一个实验变体可能因改变博弈结构而使所有人变差。

  • → 概念笔记「机器学习失败金字塔」：A/B 测试的各层陷阱与 ML 失败金字塔形成对映——工程卫生层（SRM、遥测偏差）、统计方法论层（偷看 p 值、多重比较）、组织流程层（检查清单、护栏指标）。ML 的评估指标和实验指标共享同一风险：在多次淘汰中挑选最优模型 ≡ 从多个实验变体中选择最优 ≡ 后选择推断问题。

  • → 概念笔记「因果推断方法阵营分歧」：A/B 测试（随机化实验）是因果推断的金标准——当随机化可行时，讨论"哪种因果方法更好"的优先级让位于"如何把实验做对"。但当随机化不可行（或 SUTVA 被违反）时，需要退回到 DID/RDD/IV/PSM 等准实验方法。ITT（Intent-to-Treat）分析保护了可交换性——即使存在不依从，随机化保证的可交换性仍然成立。

  • → 概念笔记「关联不等于因果」：随机化 → 可交换性 → 因果识别——这是 A/B 测试的整个推理链条。但因 SRM、遥测偏差、新颖效应等陷阱，随机化是因果识别的必要而非充分条件——可交换性是逻辑保证，SRM 是工程失败。SUTVA 在社交网络、双边市场中几乎总是被违反——A/B 测试的有效性依赖于"处理对我的效果不依赖于别人是否接受处理"这个弱得惊人的假设。

  • → 概念笔记「频率推断核心张力」：假设检验框架的整个概率保证都建立在"假设在数据收集之前指定"的前提下——事后选择（post-selection）使这些保证失效。序贯检验（SPRT、α-spending）是频率学派对 peeking 问题的正式回应——通过显式建模"多看几次"的统计后果来恢复保证。p 值的核心误解——"p=0.03 意味着只有 3% 概率零假设为真"——在 A/B 测试中特别危险，因为实验者（通常非统计专业）正是 p 值误解的典型受众。

  • → 概念笔记「概率分布选择不是数学偏好」：功效分析的样本量计算依赖于对效应量分布、方差结构和流失模式的假设——错误的分布假设导致系统性高估或低估所需样本量。对数正态分布作为 A/B 测试中大多数商业指标（收入、页面停留时长）的自然分布——乘法过程的累积导致厚尾。对瓶颈指标的假设检验需要考虑其厚尾特征——标准 t 检验在厚尾下功效衰减。

  • → 概念笔记「度量选择是元决策」：OEC（Overall Evaluation Criterion）是对"什么算成功"的最高层度量决策——选择 OEC 等于声明"这是我们优化方向"。护栏指标是对"什么算失败"的度量声明——必须预先定义且不可事后修改。古德哈特定律在 A/B 测试中的表现：当一个度量成为 OEC，团队的行为会自动优化该度量——可能是通过扭曲行为而非提升真正的用户体验。

  • → 概念笔记「决策理论三张面孔」：A/B 测试的 p 值输出需要一个外挂的决策框架——p < 0.05 应该上线还是需要更多证据？决策理论的规定层面提供了这个框架：决策矩阵（上线/不上线 × 效应存在/不存在）+ 损失函数。α = 0.05 不是统计常数，而是一个决策——选择 α 等价于声明"第一类错误的成本是第二类错误成本的 20 倍"。

  • → 概念笔记「贝叶斯与频率学派分歧」：在 A/B 测试中，"概率的定义是什么"决定了你能做什么。频率学派：概率是长期频率 → 你不能说"B 有 95% 概率优于 A" → 只能说"如果零假设为真，观测到当前差异的概率 < 0.05"。贝叶斯学派：概率是信念程度 → 可以自然地说"B 有 93% 概率优于 A" → 这是产品经理想听到的陈述。可选停止在频率框架中破坏 p 值保证、在贝叶斯框架中不影响后验概率——这是两者在 A/B 测试中最直接的实际分水岭。

  • → 桥接笔记「贝叶斯决策理论」：贝叶斯决策理论提供了从"B 优于 A 的概率"到"上线 B 的期望收益"的完整数学路径——a* = argmax_a ∫ U(a, θ) P(θ | D) dθ。频率学派 A/B 测试告诉你"B 是否显著不同于 A"（p 值），但产品经理想知道"上线 B 方案的期望收益是多少"——后者是贝叶斯决策理论回答的问题。后验概率的优越性（Probability of Superiority）直接进入期望效用计算——这是 A/B 测试从"判断有无"到"判断多好"的跳板。

  • → 桥接笔记「因果推断诊断检验本身是假设检验」：A/B 测试的 SRM 检验、A/A 检验、护栏指标趋势检验——每一次都是独立的假设检验，累积多重比较风险。诊断检验的 p-hacking 路径：SRM 没通过？换一个时间窗口看看 → "巧合地"通过了。诊断本身也需要诊断纪律——这就是预注册的意义。

  • → 桥接笔记「信用分配是时序因果推断与强化学习的共同根」：多臂老虎机（ε-greedy、UCB、Thompson Sampling）的信用分配本质——收到的奖励是"当前选择的后果"还是"之前选择在当前兑现"？折扣因子 γ 决定了信用分配的时序衰减——选择 γ 是一个需要论证的因果假设，而不是一个需要调优的超参数。在 A/B 测试升级到 MAB 时，信用分配的准确性决定了探索策略能否学到正确的动作-奖励映射。

  • → 桥接笔记「预测因果决策是三个不同技术层」：A/B 测试在这三层中的位置是因果层的"最严格子集"——它提供了最清洁的因果估计（随机化消除混杂）但代价最高（需要在线实验）。预测模型的输出不能替代实验——预测流失概率 ≠ 知道发给优惠券能否减少流失。实验的结论是因果层的输出，但上线决策需要进入决策层——这是检查清单中"明确航运标准"的意义所在。

数据驱动实践的七个启示

  1. 随机化是因果识别的必要条件，不是充分条件：SRM、遥测偏差、新颖效应、辛普森悖论——每一个都能在随机化完美执行的前提下使实验结果产生系统性误导。A/B 测试的可靠性依赖"统计推理 + 工程卫生 + 组织流程"三者护航。

  2. 偷看 p 值是最常见的统计学罪，序贯检验是解药：不要禁止偷看——人类做不到不偷看。在平台层内建序贯检验逻辑（α-spending 或贝叶斯可选停止），让"偷看"从统计破坏变成统计允许的行为。

  3. 赢家诅咒告诉你：显著不等于大——选择效应使观测值系统性偏离真实值。在多个指标/变体/分段中选择"最优"时，报告的效应量被高估。防御方案：经验贝叶斯收缩（如 Ghidorah 混合先验）或独立流量复现。

  4. 意外的好结果比意外的坏结果更危险，而且危险在它让人不想查：确认偏误对符合预期的信息放松警惕。Twyman 法则的制度化实现：自动化告警 + 异常大效应（无论正负）自动关停。

  5. A/B 测试的成本不只统计的，也是机会的：每分给测试组一个用户，就放弃了一次使用已知最优方案的机会。多臂老虎机将这种机会成本显式纳入框架——Thompson Sampling 以概率匹配的方式分配流量，在探索和利用之间自动寻找最优平衡。

  6. 检查清单不是"初级员工需要"，而是"人类都需要"：三阶段清单解决了委托-代理问题和认知偏差——它将专家隐性知识标准化为可执行步骤，使非统计背景的工程师也能产出可信的实验结论。

  7. 从固定样本 A/B 测试到自适应实验是一个连续升级路径：固定 A/B（固定样本）→ 序贯 A/B（早停）→ 多臂老虎机（在线优化）→ 上下文老虎机（个性化优化）→ 完整强化学习（时序决策）。每一步升级都增加实验效率但要求更强的平台基础设施和统计成熟度。组织应按照自身实验文化的发展阶段（Crawl → Walk → Run → Fly）逐级推进。

边界

  • 本笔记聚焦于在线对照实验（单因子和简单多因子）的核心知识体系，以下主题在本概念空间内但仅简要触及：时间序列实验设计（switchback experiments）、网络效应下的干扰实验设计（cluster randomization, two-sided marketplace experiments）、长期效应的因果估计（surrogate index, long-term causal effects via short-term surrogates）、实验平台工程架构（分流系统、指标计算引擎、实时告警管道）。
  • 本笔记中的自适应实验（MAB/contextual bandits）聚焦于它们在 A/B 测试框架中的角色——作为"更高效的实验替代方案"而非作为独立强化学习课题。完整 RL 的 MDP 设定（状态转移、延迟奖励、信用分配）在此框架中提及但未展开。
  • 频率学派和贝叶斯路线的对比贯穿多个支柱，但未穷举所有序贯检验方案（如 always-valid p-values / e-values、safe tests 等前沿方法）。

跨域链接

追加——从实验方法到实验文化与平台实践（2026-07-02 常青化）

第二轮追加将实验设计的框架从统计方法论扩展到平台工程实践（微软 ExP）和分布自由的模型诊断（共形预测），并补全了前沿方差缩减方法的数学细节：

微软 ExP 实验平台（Kohavi 2009）——方法论到产业的桥梁： - Kohavi 等人在微软 Office Online 的场景中发现了 ⅔ 创意失败率——三分之二的 A/B 测试创意在开发时被团队认为「显然会赢」，但实际实验结果是负面或中性。这不是一个方法论发现（统计学家早就知道大多数创意会失败），而是一个组织层面的纠正剂：它迫使团队承认直觉的不可靠性，从而建立实验文化。 - ExP 平台的设计原则直接验证了 Crawl→Walk→Run 框架的历史正确性：微软从「只有一个测试环境」到「每天运行数百个并发实验」，经历了工程层面（RAMP 哈希、流量分配、A/A 测试自动化）和文化层面（Humility / Hierarchy of Evidence）的双重挑战。 - 核心教训：实验平台的成功取决于工程可靠性和组织支持同等重要——如果 SRM 检验因为分流 Bug 频繁触发误报，团队会逐渐失去对平台的信任；如果 VP 可以在实验结果不喜欢的时推翻决策，实验文化就无法扎根。

共形预测（Conformal Prediction）——分布自由的不确定性量化： - Angelopoulos & Bates 的系统教程补全了 A/B 测试工具链中缺失的一环：分布自由的预测区间。传统频率学派置信区间依赖正态假设（CLT 渐近），贝叶斯区间依赖先验选择——共形预测只需要一个可交换性假设，通过分数函数的经验分布构造有限样本有效的预测集。这与 A/B 测试的随机化逻辑（可交换性）完美对齐。 - 在 A/B 测试中，共形预测可用于：在线监控指标异常（构造不依赖分布假设的预测区间）、检测实验分流的非随机性（联合共形推断）、以及为每个用户生成个性化的预期效果区间（而非单一总体平均效果）。 - 共形预测不替代传统置信区间，而是补充了当分布假设不可靠时的备用方案——这与 CUPED 方差缩减（需要协变量，但提高检验功效）形成了互补：一个在样本量约束下增加功效，一个在分布约束下增加决策可靠性。

方差缩减方法的补充： - CUPED 的核心洞察是实验前数据 \(X\) 可以用作控制变量——通过回归调整 \(Y_{\text{cv}} = Y - \theta(X - \bar{X})\)，在保持无偏的前提下缩减方差。缺失的细节是：\(\theta\) 的最优值（使 \(Y_{\text{cv}}\) 方差最小）恰好是 \(Y\) 对 \(X\) 的回归系数——这意味着 CUPED 的数学本质是利用实验前数据中的预测信息来减少实验期间的残差波动。 - 多臂实验的协变量调整更容易被误用——如果每个臂使用独立调整模型，调整后的效应估计可能引入偏差（模型选择本身就是一种后选择）。两阶段抽样的方差悖论同样重要：如果先按社区抽样（第一阶段，大单元），再在社区内随机抽样（第二阶段，小单元），总方差 > 简单随机抽样——层级结构迫使组内相关系数（ICC）推动着有效样本量的缩减。

这些追加使实验设计的框架完成了闭环：基础方法（NHST、贝叶斯）→ 检验陷阱（p-hacking、多重比较）→ 方差缩减（CUPED、分层）→ 平台实践（ExP）→ 模型诊断（共形预测）。方法论、工程、文化和诊断相互支撑。