- 贝叶斯与频率学派分歧在概率的定义
- 分层先验实现部分池化是贝叶斯建模核心
- MCMC把算后验从分析域迁移到模拟域
- 贝叶斯因子量化证据强度p值只能拒绝
- 变分推断用优化替代采样是工程妥协
- P值是数据概率非假设概率最被误解概念
- 基础率谬误直觉概率推理忽略先验概率
- 置信区间非参数概率贝叶斯可信区间才是
- 对数正态是乘法过程自然结果解释偏态
- 指数分布无记忆性唯一连续分布
- 概率编程与贝叶斯反事实推理从结构因果模型到可计算的what-if---
贝叶斯与频率学派的分歧不是方法偏好——是「概率是什么」这个根本问题的两种不可通约的回答¶
核心分歧:概率的定义¶
频率学派和贝叶斯学派在每一个方法论差异的背后,都源于同一个根本分歧:
频率学派:概率是客观世界的属性——事件的长期相对频率。参数是固定的未知常数。 贝叶斯学派:概率是认知主体的属性——对命题的相信程度。参数本身有概率分布。
这不是「两种统计方法」,而是两种认识论立场——它们对「我们如何知道某件事」给出了不同的回答。
分歧的五个层面¶
1. 先验信息:忽略 vs 显式纳入¶
频率学派声称「让数据说话」,拒绝赋予先验信念以形式化角色。但「拒绝形式化先验」≠「没有先验」——α = 0.05 的选择本身就是一种隐式先验判断(「我宁愿犯错 5% 的假阳性」)。
贝叶斯要求先验显式化:回答「在看见数据之前,我认为 H 有多可能?」这个问题的过程本身就迫使思考者审视自己的假设。先验的选择是贝叶斯被批评最多的地方——但也是它最诚实的地方。
分层先验(部分池化)是贝叶斯先验建模的精华:当你有 8 所学校的教学效果数据,你既不想假设所有学校完全相同(完全池化),也不想假设完全独立(无池化)。分层先验让数据决定「向共同均值收缩」的程度——数据越多的小组,收缩越少;数据越少的小组,越依赖共同先验。
2. 推断逻辑:P(D|H₀) vs P(H₀|D)¶
这是分歧最尖锐的表现:
- 频率学派(p 值):\(P(\text{数据} \mid H_0 \text{为真})\)——「如果零假设正确,看到这么极端的结果有多不可能?」
- 贝叶斯(后验概率):\(P(H_0 \mid \text{数据})\)——「给定这些数据,零假设为真的概率是多少?」
p 值回答的问题不是研究者想问的问题。 研究者想知道「H₀ 为真的概率是多少」(P(H₀|D)),但频率学派只能回答「在 H₀ 为真的条件下看到这些数据的概率」(P(D|H₀))。这两个概率通过贝叶斯定理关联:
基础率谬误完美地展示了这个区别的实践后果:一个 99% 准确的检测,在患病率 1% 的人群中,阳性结果真正患病的概率只有 16.7%。p 值相当于 \(P(\text{阳性}|无病)=1\%\),而医生和病人想知道的是 \(P(\text{有病}|\text{阳性})\)——两者是天壤之别。
3. 效应量化:p 值 vs 贝叶斯因子¶
贝叶斯因子直接比较两个假设:
\(BF_{10} = 10\) 意味着「数据在 H₁ 下比在 H₀ 下更可能 10 倍」。贝叶斯因子直接告诉你证据强度,p 值只能告诉你「拒绝 H₀ 的风险有多大」——这是两个不同的问题。
贝叶斯因子的实践优势:你可以「累积证据」。每次新数据到来,后验变成先验,BF 可以持续更新——而不需要像频率学派那样承受「peeking」导致假阳性率飙升至 25%+ 的问题。
4. 区间估计:置信区间 vs 可信区间¶
95% 置信区间不意味着「参数有 95% 的概率在区间内」。正确的频率学派解释是:「如果我们重复实验 100 次,大约 95 个置信区间会包含真实参数」——这是关于程序的长期性质,而非这个特定区间的可靠性。
95% 可信区间恰恰意味着「参数有 95% 的概率在区间内」——这是贝叶斯从后验分布直接取 2.5% 和 97.5% 分位数得到的。它直接回答了所有人直觉上想问的问题。
5. 计算实现:为什么贝叶斯曾经不可能、现在可能了¶
贝叶斯的后验计算在分析上很难(需要求高维积分),MCMC 改变了游戏规则:它把「算后验」从分析域迁移到模拟域。你不需要解析求解后验——你只需要能从后验中采样,然后用样本回答任何问题(均值、分位数、概率)。
变分推断(VI)是进一步的工程妥协:当 MCMC 太慢时(大数据、深度模型),VI 把后验近似问题转化为优化问题——找「最接近真实后验的简单分布」。VI 牺牲了渐近精确性,换取了可扩展性。
选择框架:不是二选一¶
| 场景 | 推荐框架 | 原因 |
|---|---|---|
| 药物审批 | 频率学派 | 需要严格的假阳性控制 + 监管要求客观标准 |
| 商业 A/B 测试 | 贝叶斯 | 需要概率性决策(「B 更好的概率是 87%」)+ 可累积证据 + 不需要固定样本量 |
| 小样本 + 强先验 | 贝叶斯 | 先验可以补充数据不足 |
| 学术发表 | 频率学派 | 同行评审体系的要求(但这正在改变) |
| 持续监控/序贯决策 | 贝叶斯 | peeking 不破坏统计保证 |
| 探索性分析 | 贝叶斯 | 灵活、直观、适合迭代更新信念 |
两者不是敌人——它们回答不同的问题。 频率学派擅长「控制错误率」,贝叶斯擅长「量化不确定性」。最成熟的从业者知道什么时候该用哪一个,而不是选边站。
跨域链接¶
- → 概念笔记「频率推断核心张力」:频率学派 NHST 的三个系统性误解的哲学根源——P(D|H₀) ≠ P(H₀|D) 正是频率学派不允许给假设分配概率的直接后果
- → 概念笔记「决策理论三张面孔」:贝叶斯决策理论是规范理论的核心——最大化期望效用的数学框架直接来自贝叶斯定理
- → 概念笔记「因果推断方法阵营」:IV 和 G 方法可以从贝叶斯/频率两个视角理解——贝叶斯版本自动处理不确定性传播,频率版本需要 Bootstrap 或 Delta 方法近似
- → 概念笔记「关联不等于因果」:贝叶斯因果推断(如贝叶斯网络)与 Rubin/Pearl 框架互补——它提供了处理先验因果知识的自然框架
- → 概念笔记「概率分布选择不是数学偏好」:选择分布族的根本依据是数据生成过程——对数正态来自乘法过程,指数分布来自无记忆/常数风险。贝叶斯方法在此之上叠加了一层:「给定我对过程的有限知识,我对我选的分布族的信念有多强?」先验分布的选择 = 对数据生成过程的先验信念
- → 桥接笔记「贝叶斯决策理论」:贝叶斯决策理论 \(a^* = \arg\max_a \int U(a,\theta) P(\theta|D) d\theta\) 是这个笔记的直接延伸——它把「概率是信念程度」和「我们应该最大化期望效用」统一在一个公式中,回答了「给定我对世界的不确定性,我应该做什么」
- → 概念笔记「机器学习失败金字塔」:贝叶斯方法在 ML 中的应用、贝叶斯 vs 频率学派的评估指标选择。
- → 概念笔记「度量选择是元决策」:贝叶斯因子和可信区间是频率学派 p 值思维的替代度量。
- → 桥接笔记「因果推断诊断检验本身是假设检验」:诊断检验中的贝叶斯替代方案(Bayesian equivalence testing 等)。
- → 桥接笔记「信用分配是强化学习与因果推断的共同根」:贝叶斯 RL 中的不确定性量化与信用分配。
- → 桥接笔记「预测因果决策是三个不同技术层」:贝叶斯方法如何应用于预测→因果→决策三层模型的每一层。
- → 概念笔记「自适应实验与多臂老虎机」:Thompson Sampling 是贝叶斯方法在序贯决策中最优雅的实例——通过从参数后验分布采样来自然平衡探索与利用,是「概率是信念程度」这一贝叶斯核心论点的操作性证明。
- → 概念笔记「博弈论基础——策略互动的数学语法」:Harsanyi 的贝叶斯博弈将不完全信息转化为不完美信息——通过引入"自然"作为虚拟玩家为每个玩家分配类型(决定其 payoff 函数的私有信息),贝叶斯纳什均衡将主观概率信念系统性地嵌入均衡概念。这是贝叶斯主观概率解释在博弈论中的奠基性应用。
- → 概念笔记「实验设计与在线对照实验——从统计显著性到组织可信度」:贝叶斯 A/B 测试和频率学派 A/B 测试的差异根植于概率定义——贝叶斯路线直接计算"处理优于对照的概率",提供决策者需要的直觉答案;频率学派只能控制"如果零假设为真,看到当前结果的概率"。
- → 概念笔记「网络科学——从个体交互到集体涌现的结构性规律」:贝叶斯网络(Bayesian networks)和信息级联模型展示了贝叶斯推理在网络环境中的结构化表达——条件独立的有向无环图编码了变量间的概率依赖,信念传播算法在网络拓扑上高效计算后验边缘概率。将网络结构的"涌现规律"解释为贝叶斯聚合过程的宏观结果,是主观概率解释在网络层面最深刻的延伸。
追加——2026-06-29:分布选择与贝叶斯决策——从概率到行动的路径¶
为什么选择分布族也是贝叶斯问题¶
选择「这个数据来自哪个分布族」通常被当作频率学派的模型拟合问题(「看直方图、选匹配的分布、做 KS 检验」)。但深层上,分布族的选择编码了对数据生成过程的信念——而这正是一个贝叶斯问题。
对数正态分布不是凭空出现的——它是乘法增长过程的数学产物。指数分布不是「看起来像」——它是「纯随机、无老化事件」的模型。贝叶斯框架将这个过程形式化:你对数据生成过程的先验信念(「这个量是乘法累积的」)→ 选择对应的分布族(对数正态)→ 数据更新你对参数的信念 → 后验分布用于决策。
贝叶斯决策理论的实践缺口¶
完整的贝叶斯决策理论公式 \(a^* = \arg\max_a \int U(a,\theta) P(\theta|D) d\theta\) 在理论上是完美的——但它要求三个在实践中常常不可得的东西:
- 后验联合分布 \(P(\theta|D)\)——对所有参数同时建模(MCMC/VI 使这成为可能但计算代价高)
- 效用函数 \(U(a,\theta)\)——对每个行动在每个世界状态下的完整效用(组织通常没有明确量化过)
- 行动空间 \(\{a\}\) 的穷举——在复杂决策中,可能的行动数量是指数级的
这就是为什么规定决策工具(决策矩阵、AHP、事前验尸)存在——它们是贝叶斯决策理论在信息不完整的情况下的有限理性近似。决策矩阵将连续的后验概率离散化为打分,将连续的效用函数离散化为加权求和。AHP 将多维偏好结构降维为逐对比较。事前验尸模拟的是反事实世界状态的一个特定子集(「如果失败了是因为什么」)。
频率学派 vs 贝叶斯的争论集中在「如何量化不确定性」。但实践的瓶颈往往不是在「p 值还是后验」——而是在「从概率到行动的路径」。贝叶斯提供了这个路径(贝叶斯决策理论),频率学派没有(你必须外挂一个非正式的决策规则)。
追加——2026-07-03:反事实推理——频率学派无法抵达而贝叶斯天然支持的计算领域¶
反事实推理暴露了最深的学派分歧¶
频率学派:概率是客观世界的长期频率。反事实(「如果当初没有吸烟,这个人现在会不会得肺癌?」)询问的是一个从未发生的世界中的概率——频率学派没有「未发生世界的频率」这个概念。
贝叶斯学派:概率是认知主体的信念程度。反事实是信念的更新——给定当前观测,我对「在另一个可能世界中会发生什么」的信念是什么?
概率编程——反事实推理的计算引擎¶
概率编程(PyMC 等)的三个步骤实现了贝叶斯反事实:
1. 指定结构因果模型(SCM)——生成式代码:
U ~ P(U) ← 外生变量(不可观测的原因)
X = f_X(U) ← 处理生成
Y = f_Y(X, U) ← 结局生成
2. 从观测数据推断后验 P(U | D)——MCMC 采样
3. 计算反事实——do(X=x'):
干预破坏原生成方程 X = f_X(U)
从 P(Y | do(X=x'), U) ~ P(U|D) 中抽样
→ 得到 P(Y | do(x'))
对比:频率学派如何(不)处理反事实¶
| 维度 | 频率学派因果 | 贝叶斯反事实 |
|---|---|---|
| 目标 | ATE(群体平均处理效应) | ITE 的后验分布(个体因果效应 + 不确定性) |
| 外生变量不确定性 | 不讲 | 完整后验——我对 U 有多不确定? |
| 先验信息 | 无 | 领域知识作为先验融入外生变量 |
| 反事实世界 | 频率学派没有这个概念 | do-calculus + 后验采样自然表达 |
贝叶斯网络 vs 因果贝叶斯网络——一个关键区分¶
贝叶斯网络是概率模型——边表示「概率依赖」。因果贝叶斯网络是贝叶斯网络 + 边的因果含义——箭头方向 = 因果方向。反事实推理要求后者:你必须知道谁因谁果,不仅仅知道谁与谁相关。
概率编程优雅地统一了这两层——生成代码中的赋值方向 = 因果方向,后验计算 = 概率推理。do 操作 = 改变生成代码中的一行赋值。
对「分歧的五个层面」的补充——第六层面:反事实推理能力¶
频率学派与贝叶斯学派在五个层面的差异(先验、推断逻辑、效应量化、区间估计、计算实现)的基础上,第六个层面展现了最深的鸿沟:
| 频率学派 | 贝叶斯学派 | |
|---|---|---|
| 「未发生世界的概率」 | 无定义 | $P(Y |
| 个体因果(ITE) | 无(只有 ATE) | $P(Y_i^1 - Y_i^0 |
| 将领域知识融入推断 | 无机制 | 先验 = 知识的形式化编码 |
这个第六层面不是理论上的细微差异——它是频率学派与贝叶斯学派在决策支持能力上的决定性差距。规范决策理论(贝叶斯决策理论的输入端)需要 \(P(outcome | do(action))\),频率学派只能提供 \(\hat{\tau}_{ATE}\)——一个群体层面的点估计,没有不确定性,没有个体差异,没有反事实世界的分布。