动态概率修正与贝叶斯更新：Booking.com如何避免A/B测试假阳性

学习目标

1. 理解传统频率学派A/B测试在“频繁查看数据”时的统计学缺陷。
2. 掌握贝叶斯定理与贝叶斯更新的核心逻辑。
3. 学习Booking.com如何应用贝叶斯统计优化A/B测试决策。
4. 掌握在实际业务中设定先验概率、计算后验概率及避免常见误用的实操步骤。

问题背景：A/B测试中的“偷看”陷阱

在数据驱动的商业环境中，A/B测试是验证产品迭代效果的标准工具。然而，在实际操作中，业务团队往往面临一个巨大的诱惑：在测试未达到预定样本量时，频繁查看数据结果（Peeking）。

在传统的频率学派统计中，p值的计算严格依赖于“固定样本量”的假设。如果测试计划收集10000个样本，但在收集到5000个样本时就去查看p值，一旦发现p<0.05就提前停止测试并宣布胜利，这种做法会导致假阳性率（Type I error）大幅飙升。研究表明，频繁偷看数据会使原本设定为5%的假阳性率膨胀至20%甚至更高。这意味着，许多被宣布“显著有效”的功能，实际上只是统计噪声，上线后不仅无法带来收益，反而可能损害用户体验。如何在动态信息下科学更新概率判断，避免这种统计谬误，成为量化决策的核心痛点。

核心概念与理论：贝叶斯定理与贝叶斯更新

要解决上述问题，我们需要从频率学派转向贝叶斯学派。贝叶斯定理的核心公式为：

P(A|B) = [P(B|A) * P(A)] / P(B)

在A/B测试的语境下，我们可以将其转化为：

后验概率 = (似然度 * 先验概率) / 证据因子

• 先验概率（Prior）：在看到本次实验数据前，基于历史经验或行业常识对参数（如转化率）的初始信念。
• 似然度（Likelihood）：在给定参数下，观察到当前实验数据的概率。
• 后验概率（Posterior）：结合先验信念和当前实验数据后，对参数的更新信念。

贝叶斯更新（Bayesian Updating）的精髓在于“动态迭代”：今天的后验概率，就是明天的先验概率。当新数据到来时，我们不需要推翻重来，而是将新数据作为似然度，与当前的后验概率（即新先验）结合，计算出新的后验概率。这种机制使得贝叶斯方法对“中途查看数据”具有天然的免疫力，因为每次查看都是基于截至当前的所有信息进行信念更新，而不依赖于“未来还会收集多少数据”的假设。

案例还原：Booking.com的A/B测试文化与贝叶斯应用

Booking.com是全球最大的在线旅游平台之一，以其极度深厚的数据驱