统计百科 ·

多重比较校正的 APA 报告怎么写?Bonferroni/Holm/FDR 格式全解

统计百科:详解多重比较校正(Bonferroni、Holm、FDR/BH)在 APA 7th 格式论文中的报告规范——校正后 p 值怎么写、事后比较结果如何呈现、方法章节标准描述,附可直接套用的论文模板与审稿人常挑错误。

跑了 ANOVA、做了事后比较,统计软件给出了一堆 p 值和校正后 p 值——却不知道怎么写进论文?这篇文章专攻"多重比较校正结果如何规范报告"这一具体格式点,覆盖 Bonferroni、Holm、FDR(Benjamini-Hochberg)三种主流方法,给出可直接套用的 APA 7th 报告模板,并逐一盘点审稿人最常挑的格式错误。


你的多重比较报告有这些问题吗?

审稿人或导师关于多重比较报告最常见的反馈:

  • "事后比较用了什么方法?方法名必须在方法章节和结果章节都说明"
  • "Bonferroni 校正后 alpha 水平是多少,请说明"
  • "报告的是原始 p 值还是校正后 p 值?请统一并注明"
  • "使用了 FDR 控制,但没有说明具体是 Benjamini-Hochberg 还是 Benjamini-Yekutieli 方法"
  • "事后比较的均值差和置信区间是必须报告的,只写 p 值不够"
  • "Tukey HSD 和 Bonferroni 都跑了,结论是用哪个的?"

这些问题集中在 APA Publication Manual 第七版关于多重比较与推断统计报告的要求,但专门针对"多重比较校正"写法汇总的实操指南并不多。本文只讲一件事:多重比较校正结果到底怎么规范写进论文的每一种场景

如果你还没看过姊妹篇 F 值的 APA 7th 报告写法,建议先读那篇,本文默认你已了解 F 值自由度格式与 p 值不加前导零(.032 而非 0.032)等基础格式规则,不再重复。


一、为什么需要多重比较校正

家族错误率(FWER)的问题

当你同时进行多个假设检验时,每次检验都有 alpha = .05 的假阳性概率。如果进行 k 次独立检验,整体犯至少一次第一类错误的概率为:

$FWER = 1 - (1 - \alpha)^k$

检验次数 k未校正 FWER
1.050
3.143
5.226
10.401
20.642

三组比较有 3 次配对(A-B、A-C、B-C),不校正时整体误判率已达 14.3%,这就是为什么多重比较必须校正。

FWER 控制 vs. FDR 控制

目标含义代表方法
FWER 控制至少犯一次错误的概率 <= alphaBonferroni、Holm、Scheffe、Tukey
FDR 控制所有拒绝中假阳性的比例期望值 <= qBenjamini-Hochberg(BH)、Benjamini-Yekutieli(BY)

FWER 控制更保守,适合探索性较少、错误代价高的场景(如临床试验、确认性研究)。
FDR 控制更宽松,适合同时检验大量假设(如基因组学、大规模调查多变量),在保留真实信号和控制误报之间取得平衡。


二、三种主流校正方法的原理与适用场景

Bonferroni 校正

原理:将每次比较的显著性水平除以比较次数 k,得到校正后的单次检验 alpha:

$\alpha_{Bonferroni} = \frac{\alpha}{k}$

3 次比较:alpha_adj = .05 / 3 = .017;每次 p 值须 < .017 才拒绝。

  • 优点:最简单,最保守,FWER 控制严格
  • 缺点:比较次数多时过于保守,检验效能(power)损失大
  • 适用:比较次数少(k <= 5~10),确认性研究,各比较等权重

Holm 逐步校正

原理:将 k 个 p 值从小到大排序(p(1) <= p(2) <= ... <= p(k)),逐步调整阈值:

$\alpha_{(i)} = \frac{\alpha}{k - i + 1}$

即最小 p 值与 alpha/k 比,第二小与 alpha/(k-1) 比,依此类推,遇到第一个不显著即停止。

  • 优点:与 Bonferroni 同样控制 FWER,但更有检验效能(统一比 Bonferroni 宽松)
  • 缺点:结果依赖 p 值排序,无法给出单一固定 alpha
  • 适用:比较次数中等,希望比 Bonferroni 保留更多真实显著结果

FDR(Benjamini-Hochberg)校正

原理:将 k 个 p 值从小到大排序,先计算每个排位的初始阈值,再从最大排序向最小做 step-down 累积最小值(cumulative minimum)以保证单调性,得到最终 adjusted p 值:

$p_{adj,(i)} = \min_{j \geq i}\left(p_{(j)} \times \frac{k}{j}\right)$

其中 $p_{(i)}$ 为排序后第 i 小的原始 p 值,k 为总比较次数。R 的 p.adjust(method="BH") 即按此公式实现。若 $p_{adj,(i)} \leq q$(FDR 水平,通常 q = .05),则拒绝该假设。

  • 优点:控制误报比例而非单次犯错概率,检验效能远高于 Bonferroni/Holm
  • 缺点:不控制 FWER,在探索性研究中可能包含更多假阳性
  • 适用:同时检验大量比较(k > 20)、探索性研究、多变量分析、基因组学

三、APA 7th 格式规范:多重比较报告必须包含的要素

必报要素清单

要素格式示例
整体 F 检验(先报)F(df1, df2) = X.XX, p [值]F(3, 196) = 23.78, p < .001
校正方法名称Bonferroni / Holm / Tukey HSD / BHBonferroni 校正
校正后 alpha 或 q 水平alpha_adj = .XXX 或 q = .05alpha_adj = .017
各组描述统计M = XX, SD = XX(每组)M = 82.6, SD = 7.5
均值差(成对比较)delta = X.XXdelta = 9.00
95% 置信区间95% CI [X.XX, X.XX]95% CI [4.23, 13.77]
校正后 p 值(p_adj)p_adj = .XXX 或 p_adj < .001p_adj = .003

注意:若使用 Tukey HSD(集成了多重比较校正的事后检验),不需要单独说明 alpha 调整;直接报告 Tukey 结果即可。Bonferroni 和 Holm 是手动/显式校正,必须说明 alpha_adj。

p 值格式要求

与所有 APA 统计报告相同:

  • 精确到三位小数,不加前导零:p_adj = .003(不写 p = 0.003)
  • 不写 p_adj = .000,改为 p_adj < .001
  • 若报告校正后 p 值(adjusted p),需在首次出现时注明"p_adj 为 Bonferroni 校正后 p 值"

四、各场景完整 APA 报告模板

场景一:单因素 ANOVA + Bonferroni 事后比较

情形:4 种干预方式(A/B/C/D),N = 200,因变量为焦虑得分(均值越低越好)。

完整报告段落模板

单因素方差分析结果显示,[自变量]对[因变量]的主效应显著,
F([k-1], [N-k]) = X.XX, p [值], eta^2 = .XX([大小]效应)。
采用 Bonferroni 校正的成对比较(alpha_adj = .05/[k*(k-1)/2] = [校正值])显示,
[组1](M = XX, SD = XX)的[因变量]显著[低于/高于][组2]
(M = XX, SD = XX),均值差 = X.XX(95% CI [XX, XX]),p_adj = .XXX;
[其他显著对比]。[不显著对比组合]之间的差异未达统计显著水平(p_adj > .05)。

填入数值的示例

单因素方差分析结果显示,干预方式对焦虑得分的主效应显著,F(3, 196) = 18.42,p < .001,eta^2 = .220,为大效应(Cohen,1988)。Levene 方差齐性检验不显著,F(3, 196) = 1.23,p = .300,方差齐性假设成立。采用 Bonferroni 校正的成对比较(alpha_adj = .05/6 = .008)结果如下:干预 D(M = 32.4,SD = 8.1)的焦虑得分显著低于干预 A(M = 48.6,SD = 9.3),均值差 = -16.2(95% CI [-21.8,-10.6]),p_adj < .001;干预 C(M = 37.8,SD = 7.6)显著低于干预 A,均值差 = -10.8(95% CI [-15.9,-5.7]),p_adj < .001;干预 B(M = 43.2,SD = 8.8)与干预 A 的差异未达显著(均值差 = -5.4,p_adj = .142)。干预 C 与 D 之间的差异亦未达统计显著水平(p_adj = .320)。

场景二:单因素 ANOVA + Holm 逐步校正

情形:5 组比较,共 10 次配对,采用 Holm 方法。

完整报告段落模板

事后成对比较采用 Holm 逐步校正方法(alpha = .05)以控制家族错误率。
[校正后最小 p 值的对比]差异显著:[组1](M = XX, SD = XX)
显著[高于/低于][组2](M = XX, SD = XX),均值差 = X.XX
(95% CI [XX, XX]),p_adj = .XXX;
其余配对的 Holm 校正后 p 值均 > .05,差异未达统计显著水平。

填入数值的示例

事后成对比较采用 Holm 逐步校正方法(alpha = .05)以控制家族错误率(10 次比较)。按 p 值升序排列后,前三个比较在 Holm 校正后仍显著:组 E(M = 91.3,SD = 7.2)显著高于组 A(M = 74.6,SD = 8.5),均值差 = 16.7(95% CI [11.4,22.0]),p_adj = .002;组 D(M = 87.4,SD = 6.9)显著高于组 A,均值差 = 12.8(95% CI [7.8,17.8]),p_adj = .006;组 E 显著高于组 B(M = 78.2,SD = 7.8),均值差 = 13.1(95% CI [8.1,18.1]),p_adj = .014。其余七次配对的 Holm 校正后 p 值均 >= .05,差异未达统计显著水平。

场景三:多变量比较 + FDR(Benjamini-Hochberg)校正

情形:同时检验 15 个组间差异,使用 BH-FDR 控制 q = .05。

完整报告段落模板

为控制多重检验中的错误发现率,所有 [k] 次比较均采用
Benjamini-Hochberg 方法(Benjamini & Hochberg, 1995)进行 FDR 校正(q = .05)。
BH 校正后共有 [m] 次比较达到显著水平(adjusted p < .05):
[比较1](均值差 = X.XX,95% CI [XX, XX],p_adj = .XXX);
[比较2](均值差 = X.XX,95% CI [XX, XX],p_adj = .XXX);
其余 [k-m] 次比较在 BH 校正后未达显著。

填入数值的示例

为控制多重检验中的错误发现率,所有 15 次组间比较均采用 Benjamini-Hochberg 方法(Benjamini & Hochberg, 1995)进行 FDR 校正(q = .05)。BH 校正后共有 6 次比较达到显著水平(p_adj < .05):自主学习组与传统讲授组(均值差 = 18.4,95% CI [13.1,23.7],p_adj = .003)、协作学习组与传统讲授组(均值差 = 14.2,95% CI [9.0,19.4],p_adj = .006)差异最为突出;其余 9 次比较的 BH 校正后 p 值在 .087 至 .624 之间,均未达统计显著水平(p_adj > .05)。

场景四:双因素 ANOVA 中交互效应后的简单效应比较

情形:交互效应显著,分组做简单效应分析并 Bonferroni 校正。

完整报告段落模板

鉴于 [因素A] × [因素B] 交互效应显著,进一步对各 [因素A] 水平分别检验 [因素B]
的简单效应,并以 Bonferroni 方法校正多重比较(alpha_adj = .05/[比较次数])。
在 [因素A 水平1] 条件下,[因素B] 的简单效应显著,
F([df1], [df2]) = X.XX, p [值], partial eta^2 = .XX;
[细节比较](M = XX, SD = XX vs. M = XX, SD = XX),p_adj = .XXX。
在 [因素A 水平2] 条件下,[因素B] 的简单效应不显著,
F([df1], [df2]) = X.XX, p = [值]。

填入数值的示例

鉴于教学方式 × 性别交互效应显著,F(3, 192) = 3.32,p = .021,partial eta^2 = .049,进一步对男女生分别检验教学方式的简单效应,并以 Bonferroni 方法校正四次成对比较(alpha_adj = .013)。在男生群体中,教学方式的简单效应显著,F(3, 96) = 22.14,p < .001,partial eta^2 = .409;项目式教学(M = 92.1,SD = 7.3)显著优于传统讲授(M = 73.8,SD = 9.1),均值差 = 18.3(95% CI [12.4,24.2]),p_adj < .001。在女生群体中,教学方式的简单效应亦显著但效应量较小,F(3, 96) = 8.76,p < .001,partial eta^2 = .215;最优(项目式,M = 86.4,SD = 7.8)与最差(传统讲授,M = 79.2,SD = 8.6)条件均值差 = 7.2(95% CI [2.8,11.6]),p_adj = .004。


五、在 ChatSRS 一句话获得规范多重比较报告

打开 chatsrs.com,上传数据后输入:

"对 4 组干预方式的焦虑得分做单因素 ANOVA,先做 Levene 方差齐性检验;整体 F 检验显著后,用 Bonferroni 校正做所有成对事后比较,报告 alpha_adj;输出每组 M 和 SD、各显著配对的均值差和 95% CI、校正后 p 值,并给出符合 APA 7th 格式的完整报告段落。"

如需 Holm 或 FDR 校正,在指令中说明方法名即可,例如:

"事后比较改用 Holm 逐步校正,同时输出原始 p 值和校正后 p 值对照表,以及 APA 格式报告段落。"

"使用 Benjamini-Hochberg FDR 校正(q = .05),输出所有比较的 raw p、BH adjusted p 和是否显著标记,并写出 APA 格式方法章节描述。"

ChatSRS 同时集成 R 语言(multcomp、emmeans 包)、SPSS 和 Stata 三套引擎,校正方法覆盖 Bonferroni、Holm、BH-FDR、BY-FDR、Scheffe、Tukey HSD、Games-Howell,输出段落即为上文示例格式,数值自动填入,可直接复制进论文。


六、方法章节怎么说明多重比较校正

Bonferroni 校正的标准方法章节描述

当整体方差分析 F 检验达显著水平(alpha = .05)时,
采用 Bonferroni 方法对所有 [k*(k-1)/2] 次成对比较进行多重比较校正
(校正后显著性水平 alpha_adj = .05/[k*(k-1)/2] = [值])以控制家族错误率。
事后比较报告均值差、95% 置信区间和 Bonferroni 校正后 p 值(p_adj)。

Holm 逐步校正的标准方法章节描述

事后多重比较采用 Holm(1979)逐步校正方法(alpha = .05),
该方法在严格控制家族错误率的同时,比 Bonferroni 方法具有更高的统计检验效能。
比较结果报告 Holm 校正后 p 值(p_adj)。

FDR(BH)校正的标准方法章节描述

为同时检验 [k] 次组间比较,采用 Benjamini-Hochberg 方法
(Benjamini & Hochberg, 1995)对错误发现率进行控制(q = .05),
该方法将所有拒绝假设中的假阳性比例的期望值控制在 5% 以内。
结果报告原始 p 值及 BH 校正后 p 值(p_adj),以 p_adj < .05 为显著标准。

七、多重比较校正常见错误对照表

常见错误正确写法违反的规则
只写"进行了事后比较"不说方法明确说明 Tukey HSD / Bonferroni / BH 等APA 要求方法透明
使用 Bonferroni 但未报告 alpha_adj注明 alpha_adj = .05/k = .XXX读者无法验证
报告原始 p 值假装是校正后 p 值明确标注 p_adj 或 p_uncorrected误导读者
均值差只写正负,不报置信区间均值差 = X.XX(95% CI [XX,XX])APA 7th 要求 CI
FDR 只写"进行了 FDR 校正"写明是 BH 还是 BY 方法,注明 q 水平可重复性要求
大量比较用 Bonferroni(过于保守)大量比较推荐 BH-FDR 或 Holm效能损失过大
事后比较未先报整体 F 检验先报 F 显著,再报事后比较逻辑顺序要求
p_adj = .000p_adj < .001.000 是舍入假值

常见 FAQ

Q:Tukey HSD 算多重比较校正吗?要单独说 alpha_adj 吗?

A:Tukey HSD(Honestly Significant Difference)本身已经内置了对多重比较的控制——它基于 studentized range 分布,自动将比较次数纳入了计算,相当于一种"集成"的多重比较校正方法。因此,使用 Tukey HSD 时不需要单独报告 alpha_adj,只需在方法章节和结果章节都说明"采用 Tukey HSD 进行事后多重比较",并报告各配对的均值差、置信区间和 p 值即可。Bonferroni 和 Holm 是"事后手动校正",需要明确说明 alpha_adj;Tukey 是"设计内校正",直接报告结果。

Q:方差不齐时事后比较用什么方法,怎么写进 APA?

A:方差不齐时(Levene 检验显著,p < .05),应改用 Welch ANOVA(整体检验)+ Games-Howell 事后比较。Games-Howell 不假设方差齐性,基于 Welch 近似 t 检验原理。APA 报告写法:

由于 Levene 方差齐性检验显著(p < .05),采用 Welch ANOVA 进行整体检验,Welch F(3, 102.34) = 18.63,p < .001,omega^2 = .198;事后多重比较采用 Games-Howell 方法,各配对均值差与 95% CI 详见正文。

Q:FDR 校正后的 p_adj 可以大于 1 吗?

A:理论上不会,但数值上 BH 公式中 p(i) * k/i 在某些 p 值较大的比较中可能超过 1,实际统计软件(R 的 p.adjust 函数等)会将这些值截断为 1。在报告时,p_adj = 1.000 直接写 p_adj > .999 即可。这表明该比较在 FDR 控制下完全不显著。

Q:Bonferroni 校正和 FDR 校正可以同一篇论文里混用吗?

A:可以,但需要在方法章节说明不同分析使用不同方法的理由。例如:主要研究假设(少量确认性比较)使用 Bonferroni 以严格控制 FWER;探索性附加分析(大量比较)使用 BH-FDR。混用的前提是逻辑一致,每个分析都清楚注明使用的方法,不能同一批比较同时用两种校正然后挑显著的报告。


快速参考:多重比较校正报告速查卡

[Bonferroni 校正 — k 次比较]
alpha_adj = .05 / k
整体 F: F(df1, df2) = X.XX, p [值], eta^2 = .XX
事后 Bonferroni: 均值差 = X.XX (95% CI [XX, XX]), p_adj = .XXX
方法句: "采用 Bonferroni 校正的成对比较(alpha_adj = .XXX)"

[Holm 逐步校正]
p 值排序后逐步比较,无固定 alpha_adj
整体 F: F(df1, df2) = X.XX, p [值]
事后 Holm: 均值差 = X.XX (95% CI [XX, XX]), p_adj = .XXX
方法句: "事后多重比较采用 Holm(1979)逐步校正方法(alpha = .05)"

[BH-FDR 校正 — k 次比较]
q 水平通常设 .05
方法句: "采用 Benjamini-Hochberg 方法(q = .05)控制错误发现率"
结果句: "BH 校正后共 m 次比较显著(p_adj < .05),其余 k-m 次 p_adj > .05"

[Tukey HSD — 不需要单独报 alpha_adj]
方法句: "采用 Tukey HSD 进行事后多重比较"
结果句: 各配对均值差 + 95% CI + Tukey 校正后 p 值

[Games-Howell — 方差不齐时]
先报: "Levene F(k-1, N-k) = X.XX, p < .05,方差齐性假设不成立,
        采用 Welch ANOVA + Games-Howell 事后比较"
结果: 均值差 + 95% CI + Games-Howell p 值

相关阅读


本文首发于 ChatSRS 官方博客。如有问题或反馈,欢迎在 ChatSRS 站内 [用户中心 -> 帮助与反馈] 联系我们。