P值是数据概率非假设概率最被误解概念
置信区间非参数概率贝叶斯可信区间才是
一二类错误跷跷板固定样本量无法双降
二十次检验六成假阳性p-hacking根源
偷看p值显著就停假阳性率飙升
Bessel校正消除样本方差系统低估
基础率谬误直觉概率推理忽略先验概率
贝叶斯因子量化证据强度p值只能拒绝---

频率学派推断框架的核心张力——它构建的工具禁止你用直觉理解它们¶

NHST 的三个系统性误解¶

频率学派的零假设显著性检验（NHST）建立在三个概念之上，而这三个概念各自有一个直觉版本和一个正确版本——直觉版本几乎总是错的，但人类大脑天然倾向直觉版本。

误解 1：P(D|H₀) ≠ P(H₀|D)¶

直觉理解（错）	正确理解
「p = 0.03 意味着 H₀ 为真的概率是 3%」	「如果 H₀ 为真，看到这么极端的结果的概率是 3%」

这是频率学派最根本的限制：频率学派不允许给假设分配概率。它只能告诉你数据在假设下的条件概率 P(D|H₀)，不能告诉你假设在数据下的条件概率 P(H₀|D)。而后者正是研究者、决策者、公众真正想知道的。

基础率谬误以极端形式展示了这个混淆的后果：99% 准确的检测 + 1% 的患病率 → 阳性结果只有 16.7% 的概率真正患病。p < 0.05 对应的不是「H₀ 有 5% 概率为真」，而是「如果 H₀ 为真，有 5% 概率看到显著结果」——这个区别在低先验概率（即大多数探索性研究中）的后果尤其严重。

误解 2：95% 置信区间 ≠ 95% 概率包含参数¶

直觉理解（错）	正确理解
「真实参数有 95% 的概率在 [0.3, 0.8] 内」	「如果重复 100 次实验并构建 100 个 CI，约 95 个会包含真实参数」

频率学派的 CI 是关于程序的长期性质，不是关于这个特定区间的可信度。贝叶斯可信区间恰恰给出了直觉想要的回答——这是为什么几乎所有非统计学家都在用贝叶斯方式理解置信区间。

误解 3：p > 0.05 = 「没有效应」¶

不显著 ≠ 零效应。不显著可能意味着： - 效应确实为零 - 样本量太小（功效不足） - 测量噪声太大

第二类错误 β 是被系统性忽视的维度。研究者盯着 α = 0.05，却不在乎 β 可能是 0.5（50% 概率漏掉真实效应）。α 和 β 是跷跷板——固定样本量下降低一个必然提高另一个——但实践中几乎没有人计算自己的统计功效。

为什么 p < 0.05 如此不可靠：两种 p-hacking¶

横向 p-hacking：多重比较¶

做 20 次独立检验，至少一次假阳性的概率：\(1 - (1-0.05)^{20} = 64\%\)。

换指标、分亚组、删异常值——每个操作都是一次新的假设检验，累积假阳性率远超名义 α。p-hacking 的危险在于它不需要恶意——好奇心驱动的探索和恶意操纵在数学上产生同样的后果。

纵向 p-hacking：中途 Peeking¶

每天偷看 p 值，到了显著就停——这在数学上等价于每天做一次假设检验。累积假阳性率同样由 \(1-(1-α)^n\) 决定。标准 NHST 假设样本量预先固定——任何「看到显著就停」的策略都违反了统计保证。

防御：预注册（pre-registration）是唯一从流程上防止 p-hacking 的机制——在收集数据前公开分析计划。Bonferroni 校正、hold-out 验证是统计补丁，不能替代流程约束。

框架的宿命：为频率学派的工具辩护¶

NHST 最诚实的反省来自其批评者：频率学派框架回答了错误的问题，但回答得很精确；贝叶斯框架回答了正确的问题，但需要你提供先验。

频率学派的辩护：「α = 0.05 是客观的」（但 0.05 本身是一个任意的惯例）
贝叶斯的辩护：「先验是主观的」（但显式的先验比隐式的先验更诚实）

实践中，同时报告 效应量 + 置信区间 + 效应方向的后验概率 是超越 NHST 二元思维的最小可行改进。这不是要求每个研究者都成为贝叶斯主义者——而是要求每个研究者至少承认 p 值的局限性。

跨域链接¶

→ 概念笔记「贝叶斯与频率学派分歧」：本笔记描述 NHST 的具体问题，贝叶斯笔记提供答案——从「概率是什么」的哲学根基到贝叶斯因子、可信区间等替代工具
→ 概念笔记「因果推断方法阵营」：每种因果方法的诊断检验（第一阶段 F>10、平行趋势检验、McCrary 检验、安慰剂检验）同样是假设检验——同样面临 p-hacking 和多重比较风险。你做 5 个安慰剂检验挑最显著的一个 = 你在 p-hack 你的 RDD 有效性
→ 桥接笔记「因果推断诊断检验本身是假设检验」：频率推断是因果诊断的数学基础，也是其弱点——诊断检验和 NHST 共享相同的 p-hacking 风险，这使因果证据的稳健性依赖于对假设检验的正确使用（而这恰恰是多数实证研究者未掌握的部分）
→ 概念笔记「决策理论三张面孔」：α = 0.05 不是统计定律——它是一个决策规则（低于这个阈值就「拒绝」H₀）。选择 α 就是在选择第一类和第二类错误的相对成本——这本质上是一个决策问题，而不是统计问题
→ 概念笔记「机器学习失败金字塔」：ML 的评估指标选择（准确率 vs AUC vs F1）和频率学派的 α 选择共享同一个逻辑——指标选择是决策错误成本的函数，而非统计偏好
→ 概念笔记「概率分布选择不是数学偏好」：Bessel 校正（n-1 除）和分布族的选择共享一个底层原理——校正和分布选择都是对数据生成过程假设的数学编码。Bessel 校正是对「我们不知道真实均值」的校正，正如对数正态是对「乘法生成过程」的编码
→ 概念笔记「度量选择是元决策」：α=0.05 的选择不是数学真理，而是决策阈值——这是度量选择的经典案例。
→ 桥接笔记「贝叶斯决策理论（从概率到行动）」：贝叶斯因子的替代性需要 B1 作为数学框架才能转化为行动。
→ 概念笔记「实验设计与在线对照实验」：频率学派的 NHST 是 A/B 测试的统计基础——p 值、置信区间、α 水平是标准实验分析的核心工具。实验设计笔记覆盖了从 p-hacking 防御（预注册、peeking 控制）到效应量报告的完整实践体系，是频率推断从理论到大规模实验的桥梁。
→ 概念笔记「网络科学——从个体交互到集体涌现的结构性规律」：网络数据的频率推断面临 IID 假设的根本性违反——网络采样中观测通过边依赖，标准误、置信区间和置换检验都需要针对网络自相关结构做调整。图自举法（graph bootstrap）和二次赋值过程（QAP）是网络统计推断的频率学派方案。
→ 概念笔记「自适应实验与多臂老虎机——从固定到动态」：序贯检验（sequential testing）是频率推断在自适应实验中面临的核心挑战——每次中期分析增加一次 Type I 错误机会，peeking 需用 α-spending 函数（O'Brien-Fleming、Pocock）或 always-valid p-values 纠正。频率学派的严格费歇尔传统（一次实验对应一次决策）与随时停止（anytime validity）之间存在根本张力。

追加——2026-06-29：从 p 值到证据——贝叶斯因子与可信区间的实践替代¶

贝叶斯因子：p 值的直接替代¶

贝叶斯因子 \(BF_{10} = P(D|H_1) / P(D|H_0)\) 直接回答「数据支持 H₁ 多于 H₀ 多少倍」。BF = 10 → 数据在备择假设下的可能性是零假设的 10 倍。关键区别：

	p 值	贝叶斯因子
回答的问题	P(D\|H₀)	P(D\|H₁) / P(D\|H₀)
能否累积	不能（需 Bonferroni）	能（后验变先验，持续更新）
「不显著」含义	「不能拒绝 H₀」（≠ H₀ 为真）	「证据支持 H₀」或「证据不足」——明确区分

贝叶斯因子的实践优势：peeking 合法。每次新数据到来，后验变先验，BF 持续更新——不需要预注册来保护 α 水平。这在持续监控场景（A/B 测试、质量控制、实时异常检测）中具有压倒性的实践优势。

效应量——频率框架遗漏的维度¶

p < 0.05 告诉你「效应非零」，但不告诉你效应有多大。在实践中，效应大小（Cohen's d、风险差、NNT、R²）往往比「是否显著」更有决策价值。一个 p = 0.001 但 d = 0.1 的效应（微小效应）和一个 p = 0.04 但 d = 0.8 的效应（大效应）——决策者应该关注后者，但 p 值更小的前者却更容易被发表和引用。

最小可行实践：报告 p 值时同步报告 (1) 效应量及其置信区间，(2) 样本量和统计功效，(3) 如果有先验信息，报告贝叶斯因子。仅报告 p 值 = 仅回答了五个问题中最不重要（且最常被误解）的一个。