统计显著性是工业时代农业站上的质量控制工具——被学术界错用为科学真理的仲裁者¶

洞察¶

R.A. Fisher 在 1920 年代 Rothamsted 农业实验站发明显著性检验的场景和今天的学术出版场景完全不同：

Fisher 的原场景： - 每年几十个实验（肥料 A vs 肥料 B 对作物产量的影响） - 同一个实验者做所有实验 - 昨天刚在相邻田里做完类似实验—有强先验 - α = 0.05 的意思是：「如果肥料没效果，有 5% 的概率我会错误地说它有效。这个错误率我承受得起——大不了明年重做。」

今天的学术场景： - 每年数百万个实验（全球研究者）🌍 - 不同实验者相互独立 - 大多数实验的效应量未知，先验极弱 - α = 0.05 被当成「真理门槛」—— p < 0.05 → 发表，p > 0.05 → 文件抽屉

场景迁移改变了 α = 0.05 的含义：

当实验量从「几十」到「几百万」，5% 的假阳性率产生了大量的假阳性论文。这不是 p 值的问题——是阈值不变而基数膨胀的问题。Fisher 设 α = 0.05 时从未想象过百万级的多重比较场景。

更深层的问题¶

不是 p 值错了——是把决策规则当成了真理判断。

p < 0.05 的正确解释：「这个数据不太可能来自零假设」——一个质量控制判断： - 「这批零件不太可能来自正常产线 → 检查产线」= 合理 - 「这个效应不太可能是零 → 这个效应是真实的因果规律」= 跳跃

「不太可能来自零假设」≠「效应真实存在」。前者是一个统计陈述（关于数据在假设下的概率），后者是一个因果陈述（关于世界的状态）。把两者等同 = 把检测工具当成了真理发现工具。

这暴露了一个更深的认识论错误：把「降低假阳性」当成科学的唯一目标。科学的真正目标是「增加真知识」——这要求同时管理假阳性和假阴性。NHST 只优化假阳性控制（type I error），假阴性（type II error, power）被系统性地忽视——导致「统计显著」的研究在低 power 下仍然发表（假设检验在论文中只要显著就被接受，不需要报告 power）。

从农业站到学术出版的路径依赖¶

α = 0.05 的统治地位不是因为它「正确」——是因为它「先用」：

Fisher 用了 α = 0.05 → 成为标准
期刊要求 p < 0.05 → 制度化
研究者为了发表 → 学习如何获取 p < 0.05（而非学习如何回答科学问题）
形成了自我强化的循环：审稿人审查 p 值 → 研究者报告 p 值 → 统计软件输出 p 值 → 所有人只关心 p 值

如果 Fisher 当时选的是 α = 0.01 或 α = 0.10，今天的科学出版会是什么样？ 没有客观理由支持 0.05 优于 0.01 或 0.10——这是路径依赖，不是理论最优。

对实践的启示¶

在组织内的数据驱动决策中，不要把 p < 0.05 当成决策的唯一门槛——用决策理论框架：假阳性成本 vs 假阴性成本 → 最优 α
报告效应量和置信区间，而不只是「显著/不显著」——让决策者看到不确定性的大小
多个实验的结论综合应该用贝叶斯方法（序贯更新）或元分析——而不是分别检查每个实验是否 p < 0.05

🕸️ 跨域脉络¶

频率推断（C4）的核心张力在这里达到极端——工具被误用为真理判断而非其设计用途
度量选择（C2）—— α = 0.05 选择是一个度量选择问题：你用假阳性率作为研究质量的代理指标
决策理论（C1）—— α 的设定应该由假阳性/假阴性的决策成本决定，但在学术出版中这个成本结构从未被明确讨论