统计百科 ·
多重比较校正的 APA 报告怎么写?Bonferroni/Holm/FDR 格式全解
统计百科:详解多重比较校正(Bonferroni、Holm、FDR/BH)在 APA 7th 格式论文中的报告规范——校正后 p 值怎么写、事后比较结果如何呈现、方法章节标准描述,附可直接套用的论文模板与审稿人常挑错误。
跑了 ANOVA、做了事后比较,统计软件给出了一堆 p 值和校正后 p 值——却不知道怎么写进论文?这篇文章专攻"多重比较校正结果如何规范报告"这一具体格式点,覆盖 Bonferroni、Holm、FDR(Benjamini-Hochberg)三种主流方法,给出可直接套用的 APA 7th 报告模板,并逐一盘点审稿人最常挑的格式错误。
你的多重比较报告有这些问题吗?
审稿人或导师关于多重比较报告最常见的反馈:
- "事后比较用了什么方法?方法名必须在方法章节和结果章节都说明"
- "Bonferroni 校正后 alpha 水平是多少,请说明"
- "报告的是原始 p 值还是校正后 p 值?请统一并注明"
- "使用了 FDR 控制,但没有说明具体是 Benjamini-Hochberg 还是 Benjamini-Yekutieli 方法"
- "事后比较的均值差和置信区间是必须报告的,只写 p 值不够"
- "Tukey HSD 和 Bonferroni 都跑了,结论是用哪个的?"
这些问题集中在 APA Publication Manual 第七版关于多重比较与推断统计报告的要求,但专门针对"多重比较校正"写法汇总的实操指南并不多。本文只讲一件事:多重比较校正结果到底怎么规范写进论文的每一种场景。
如果你还没看过姊妹篇 F 值的 APA 7th 报告写法,建议先读那篇,本文默认你已了解 F 值自由度格式与 p 值不加前导零(.032 而非 0.032)等基础格式规则,不再重复。
一、为什么需要多重比较校正
家族错误率(FWER)的问题
当你同时进行多个假设检验时,每次检验都有 alpha = .05 的假阳性概率。如果进行 k 次独立检验,整体犯至少一次第一类错误的概率为:
$FWER = 1 - (1 - \alpha)^k$
| 检验次数 k | 未校正 FWER |
|---|---|
| 1 | .050 |
| 3 | .143 |
| 5 | .226 |
| 10 | .401 |
| 20 | .642 |
三组比较有 3 次配对(A-B、A-C、B-C),不校正时整体误判率已达 14.3%,这就是为什么多重比较必须校正。
FWER 控制 vs. FDR 控制
| 目标 | 含义 | 代表方法 |
|---|---|---|
| FWER 控制 | 至少犯一次错误的概率 <= alpha | Bonferroni、Holm、Scheffe、Tukey |
| FDR 控制 | 所有拒绝中假阳性的比例期望值 <= q | Benjamini-Hochberg(BH)、Benjamini-Yekutieli(BY) |
FWER 控制更保守,适合探索性较少、错误代价高的场景(如临床试验、确认性研究)。
FDR 控制更宽松,适合同时检验大量假设(如基因组学、大规模调查多变量),在保留真实信号和控制误报之间取得平衡。
二、三种主流校正方法的原理与适用场景
Bonferroni 校正
原理:将每次比较的显著性水平除以比较次数 k,得到校正后的单次检验 alpha:
$\alpha_{Bonferroni} = \frac{\alpha}{k}$
3 次比较:alpha_adj = .05 / 3 = .017;每次 p 值须 < .017 才拒绝。
- 优点:最简单,最保守,FWER 控制严格
- 缺点:比较次数多时过于保守,检验效能(power)损失大
- 适用:比较次数少(k <= 5~10),确认性研究,各比较等权重
Holm 逐步校正
原理:将 k 个 p 值从小到大排序(p(1) <= p(2) <= ... <= p(k)),逐步调整阈值:
$\alpha_{(i)} = \frac{\alpha}{k - i + 1}$
即最小 p 值与 alpha/k 比,第二小与 alpha/(k-1) 比,依此类推,遇到第一个不显著即停止。
- 优点:与 Bonferroni 同样控制 FWER,但更有检验效能(统一比 Bonferroni 宽松)
- 缺点:结果依赖 p 值排序,无法给出单一固定 alpha
- 适用:比较次数中等,希望比 Bonferroni 保留更多真实显著结果
FDR(Benjamini-Hochberg)校正
原理:将 k 个 p 值从小到大排序,先计算每个排位的初始阈值,再从最大排序向最小做 step-down 累积最小值(cumulative minimum)以保证单调性,得到最终 adjusted p 值:
$p_{adj,(i)} = \min_{j \geq i}\left(p_{(j)} \times \frac{k}{j}\right)$
其中 $p_{(i)}$ 为排序后第 i 小的原始 p 值,k 为总比较次数。R 的 p.adjust(method="BH") 即按此公式实现。若 $p_{adj,(i)} \leq q$(FDR 水平,通常 q = .05),则拒绝该假设。
- 优点:控制误报比例而非单次犯错概率,检验效能远高于 Bonferroni/Holm
- 缺点:不控制 FWER,在探索性研究中可能包含更多假阳性
- 适用:同时检验大量比较(k > 20)、探索性研究、多变量分析、基因组学
三、APA 7th 格式规范:多重比较报告必须包含的要素
必报要素清单
| 要素 | 格式 | 示例 |
|---|---|---|
| 整体 F 检验(先报) | F(df1, df2) = X.XX, p [值] | F(3, 196) = 23.78, p < .001 |
| 校正方法名称 | Bonferroni / Holm / Tukey HSD / BH | Bonferroni 校正 |
| 校正后 alpha 或 q 水平 | alpha_adj = .XXX 或 q = .05 | alpha_adj = .017 |
| 各组描述统计 | M = XX, SD = XX(每组) | M = 82.6, SD = 7.5 |
| 均值差(成对比较) | delta = X.XX | delta = 9.00 |
| 95% 置信区间 | 95% CI [X.XX, X.XX] | 95% CI [4.23, 13.77] |
| 校正后 p 值(p_adj) | p_adj = .XXX 或 p_adj < .001 | p_adj = .003 |
注意:若使用 Tukey HSD(集成了多重比较校正的事后检验),不需要单独说明 alpha 调整;直接报告 Tukey 结果即可。Bonferroni 和 Holm 是手动/显式校正,必须说明 alpha_adj。
p 值格式要求
与所有 APA 统计报告相同:
- 精确到三位小数,不加前导零:p_adj = .003(不写 p = 0.003)
- 不写 p_adj = .000,改为 p_adj < .001
- 若报告校正后 p 值(adjusted p),需在首次出现时注明"p_adj 为 Bonferroni 校正后 p 值"
四、各场景完整 APA 报告模板
场景一:单因素 ANOVA + Bonferroni 事后比较
情形:4 种干预方式(A/B/C/D),N = 200,因变量为焦虑得分(均值越低越好)。
完整报告段落模板:
单因素方差分析结果显示,[自变量]对[因变量]的主效应显著,
F([k-1], [N-k]) = X.XX, p [值], eta^2 = .XX([大小]效应)。
采用 Bonferroni 校正的成对比较(alpha_adj = .05/[k*(k-1)/2] = [校正值])显示,
[组1](M = XX, SD = XX)的[因变量]显著[低于/高于][组2]
(M = XX, SD = XX),均值差 = X.XX(95% CI [XX, XX]),p_adj = .XXX;
[其他显著对比]。[不显著对比组合]之间的差异未达统计显著水平(p_adj > .05)。
填入数值的示例:
单因素方差分析结果显示,干预方式对焦虑得分的主效应显著,F(3, 196) = 18.42,p < .001,eta^2 = .220,为大效应(Cohen,1988)。Levene 方差齐性检验不显著,F(3, 196) = 1.23,p = .300,方差齐性假设成立。采用 Bonferroni 校正的成对比较(alpha_adj = .05/6 = .008)结果如下:干预 D(M = 32.4,SD = 8.1)的焦虑得分显著低于干预 A(M = 48.6,SD = 9.3),均值差 = -16.2(95% CI [-21.8,-10.6]),p_adj < .001;干预 C(M = 37.8,SD = 7.6)显著低于干预 A,均值差 = -10.8(95% CI [-15.9,-5.7]),p_adj < .001;干预 B(M = 43.2,SD = 8.8)与干预 A 的差异未达显著(均值差 = -5.4,p_adj = .142)。干预 C 与 D 之间的差异亦未达统计显著水平(p_adj = .320)。
场景二:单因素 ANOVA + Holm 逐步校正
情形:5 组比较,共 10 次配对,采用 Holm 方法。
完整报告段落模板:
事后成对比较采用 Holm 逐步校正方法(alpha = .05)以控制家族错误率。
[校正后最小 p 值的对比]差异显著:[组1](M = XX, SD = XX)
显著[高于/低于][组2](M = XX, SD = XX),均值差 = X.XX
(95% CI [XX, XX]),p_adj = .XXX;
其余配对的 Holm 校正后 p 值均 > .05,差异未达统计显著水平。
填入数值的示例:
事后成对比较采用 Holm 逐步校正方法(alpha = .05)以控制家族错误率(10 次比较)。按 p 值升序排列后,前三个比较在 Holm 校正后仍显著:组 E(M = 91.3,SD = 7.2)显著高于组 A(M = 74.6,SD = 8.5),均值差 = 16.7(95% CI [11.4,22.0]),p_adj = .002;组 D(M = 87.4,SD = 6.9)显著高于组 A,均值差 = 12.8(95% CI [7.8,17.8]),p_adj = .006;组 E 显著高于组 B(M = 78.2,SD = 7.8),均值差 = 13.1(95% CI [8.1,18.1]),p_adj = .014。其余七次配对的 Holm 校正后 p 值均 >= .05,差异未达统计显著水平。
场景三:多变量比较 + FDR(Benjamini-Hochberg)校正
情形:同时检验 15 个组间差异,使用 BH-FDR 控制 q = .05。
完整报告段落模板:
为控制多重检验中的错误发现率,所有 [k] 次比较均采用
Benjamini-Hochberg 方法(Benjamini & Hochberg, 1995)进行 FDR 校正(q = .05)。
BH 校正后共有 [m] 次比较达到显著水平(adjusted p < .05):
[比较1](均值差 = X.XX,95% CI [XX, XX],p_adj = .XXX);
[比较2](均值差 = X.XX,95% CI [XX, XX],p_adj = .XXX);
其余 [k-m] 次比较在 BH 校正后未达显著。
填入数值的示例:
为控制多重检验中的错误发现率,所有 15 次组间比较均采用 Benjamini-Hochberg 方法(Benjamini & Hochberg, 1995)进行 FDR 校正(q = .05)。BH 校正后共有 6 次比较达到显著水平(p_adj < .05):自主学习组与传统讲授组(均值差 = 18.4,95% CI [13.1,23.7],p_adj = .003)、协作学习组与传统讲授组(均值差 = 14.2,95% CI [9.0,19.4],p_adj = .006)差异最为突出;其余 9 次比较的 BH 校正后 p 值在 .087 至 .624 之间,均未达统计显著水平(p_adj > .05)。
场景四:双因素 ANOVA 中交互效应后的简单效应比较
情形:交互效应显著,分组做简单效应分析并 Bonferroni 校正。
完整报告段落模板:
鉴于 [因素A] × [因素B] 交互效应显著,进一步对各 [因素A] 水平分别检验 [因素B]
的简单效应,并以 Bonferroni 方法校正多重比较(alpha_adj = .05/[比较次数])。
在 [因素A 水平1] 条件下,[因素B] 的简单效应显著,
F([df1], [df2]) = X.XX, p [值], partial eta^2 = .XX;
[细节比较](M = XX, SD = XX vs. M = XX, SD = XX),p_adj = .XXX。
在 [因素A 水平2] 条件下,[因素B] 的简单效应不显著,
F([df1], [df2]) = X.XX, p = [值]。
填入数值的示例:
鉴于教学方式 × 性别交互效应显著,F(3, 192) = 3.32,p = .021,partial eta^2 = .049,进一步对男女生分别检验教学方式的简单效应,并以 Bonferroni 方法校正四次成对比较(alpha_adj = .013)。在男生群体中,教学方式的简单效应显著,F(3, 96) = 22.14,p < .001,partial eta^2 = .409;项目式教学(M = 92.1,SD = 7.3)显著优于传统讲授(M = 73.8,SD = 9.1),均值差 = 18.3(95% CI [12.4,24.2]),p_adj < .001。在女生群体中,教学方式的简单效应亦显著但效应量较小,F(3, 96) = 8.76,p < .001,partial eta^2 = .215;最优(项目式,M = 86.4,SD = 7.8)与最差(传统讲授,M = 79.2,SD = 8.6)条件均值差 = 7.2(95% CI [2.8,11.6]),p_adj = .004。
五、在 ChatSRS 一句话获得规范多重比较报告
打开 chatsrs.com,上传数据后输入:
"对 4 组干预方式的焦虑得分做单因素 ANOVA,先做 Levene 方差齐性检验;整体 F 检验显著后,用 Bonferroni 校正做所有成对事后比较,报告 alpha_adj;输出每组 M 和 SD、各显著配对的均值差和 95% CI、校正后 p 值,并给出符合 APA 7th 格式的完整报告段落。"
如需 Holm 或 FDR 校正,在指令中说明方法名即可,例如:
"事后比较改用 Holm 逐步校正,同时输出原始 p 值和校正后 p 值对照表,以及 APA 格式报告段落。"
"使用 Benjamini-Hochberg FDR 校正(q = .05),输出所有比较的 raw p、BH adjusted p 和是否显著标记,并写出 APA 格式方法章节描述。"
ChatSRS 同时集成 R 语言(multcomp、emmeans 包)、SPSS 和 Stata 三套引擎,校正方法覆盖 Bonferroni、Holm、BH-FDR、BY-FDR、Scheffe、Tukey HSD、Games-Howell,输出段落即为上文示例格式,数值自动填入,可直接复制进论文。
六、方法章节怎么说明多重比较校正
Bonferroni 校正的标准方法章节描述
当整体方差分析 F 检验达显著水平(alpha = .05)时,
采用 Bonferroni 方法对所有 [k*(k-1)/2] 次成对比较进行多重比较校正
(校正后显著性水平 alpha_adj = .05/[k*(k-1)/2] = [值])以控制家族错误率。
事后比较报告均值差、95% 置信区间和 Bonferroni 校正后 p 值(p_adj)。
Holm 逐步校正的标准方法章节描述
事后多重比较采用 Holm(1979)逐步校正方法(alpha = .05),
该方法在严格控制家族错误率的同时,比 Bonferroni 方法具有更高的统计检验效能。
比较结果报告 Holm 校正后 p 值(p_adj)。
FDR(BH)校正的标准方法章节描述
为同时检验 [k] 次组间比较,采用 Benjamini-Hochberg 方法
(Benjamini & Hochberg, 1995)对错误发现率进行控制(q = .05),
该方法将所有拒绝假设中的假阳性比例的期望值控制在 5% 以内。
结果报告原始 p 值及 BH 校正后 p 值(p_adj),以 p_adj < .05 为显著标准。
七、多重比较校正常见错误对照表
| 常见错误 | 正确写法 | 违反的规则 |
|---|---|---|
| 只写"进行了事后比较"不说方法 | 明确说明 Tukey HSD / Bonferroni / BH 等 | APA 要求方法透明 |
| 使用 Bonferroni 但未报告 alpha_adj | 注明 alpha_adj = .05/k = .XXX | 读者无法验证 |
| 报告原始 p 值假装是校正后 p 值 | 明确标注 p_adj 或 p_uncorrected | 误导读者 |
| 均值差只写正负,不报置信区间 | 均值差 = X.XX(95% CI [XX,XX]) | APA 7th 要求 CI |
| FDR 只写"进行了 FDR 校正" | 写明是 BH 还是 BY 方法,注明 q 水平 | 可重复性要求 |
| 大量比较用 Bonferroni(过于保守) | 大量比较推荐 BH-FDR 或 Holm | 效能损失过大 |
| 事后比较未先报整体 F 检验 | 先报 F 显著,再报事后比较 | 逻辑顺序要求 |
| p_adj = .000 | p_adj < .001 | .000 是舍入假值 |
常见 FAQ
Q:Tukey HSD 算多重比较校正吗?要单独说 alpha_adj 吗?
A:Tukey HSD(Honestly Significant Difference)本身已经内置了对多重比较的控制——它基于 studentized range 分布,自动将比较次数纳入了计算,相当于一种"集成"的多重比较校正方法。因此,使用 Tukey HSD 时不需要单独报告 alpha_adj,只需在方法章节和结果章节都说明"采用 Tukey HSD 进行事后多重比较",并报告各配对的均值差、置信区间和 p 值即可。Bonferroni 和 Holm 是"事后手动校正",需要明确说明 alpha_adj;Tukey 是"设计内校正",直接报告结果。
Q:方差不齐时事后比较用什么方法,怎么写进 APA?
A:方差不齐时(Levene 检验显著,p < .05),应改用 Welch ANOVA(整体检验)+ Games-Howell 事后比较。Games-Howell 不假设方差齐性,基于 Welch 近似 t 检验原理。APA 报告写法:
由于 Levene 方差齐性检验显著(p < .05),采用 Welch ANOVA 进行整体检验,Welch F(3, 102.34) = 18.63,p < .001,omega^2 = .198;事后多重比较采用 Games-Howell 方法,各配对均值差与 95% CI 详见正文。
Q:FDR 校正后的 p_adj 可以大于 1 吗?
A:理论上不会,但数值上 BH 公式中 p(i) * k/i 在某些 p 值较大的比较中可能超过 1,实际统计软件(R 的 p.adjust 函数等)会将这些值截断为 1。在报告时,p_adj = 1.000 直接写 p_adj > .999 即可。这表明该比较在 FDR 控制下完全不显著。
Q:Bonferroni 校正和 FDR 校正可以同一篇论文里混用吗?
A:可以,但需要在方法章节说明不同分析使用不同方法的理由。例如:主要研究假设(少量确认性比较)使用 Bonferroni 以严格控制 FWER;探索性附加分析(大量比较)使用 BH-FDR。混用的前提是逻辑一致,每个分析都清楚注明使用的方法,不能同一批比较同时用两种校正然后挑显著的报告。
快速参考:多重比较校正报告速查卡
[Bonferroni 校正 — k 次比较]
alpha_adj = .05 / k
整体 F: F(df1, df2) = X.XX, p [值], eta^2 = .XX
事后 Bonferroni: 均值差 = X.XX (95% CI [XX, XX]), p_adj = .XXX
方法句: "采用 Bonferroni 校正的成对比较(alpha_adj = .XXX)"
[Holm 逐步校正]
p 值排序后逐步比较,无固定 alpha_adj
整体 F: F(df1, df2) = X.XX, p [值]
事后 Holm: 均值差 = X.XX (95% CI [XX, XX]), p_adj = .XXX
方法句: "事后多重比较采用 Holm(1979)逐步校正方法(alpha = .05)"
[BH-FDR 校正 — k 次比较]
q 水平通常设 .05
方法句: "采用 Benjamini-Hochberg 方法(q = .05)控制错误发现率"
结果句: "BH 校正后共 m 次比较显著(p_adj < .05),其余 k-m 次 p_adj > .05"
[Tukey HSD — 不需要单独报 alpha_adj]
方法句: "采用 Tukey HSD 进行事后多重比较"
结果句: 各配对均值差 + 95% CI + Tukey 校正后 p 值
[Games-Howell — 方差不齐时]
先报: "Levene F(k-1, N-k) = X.XX, p < .05,方差齐性假设不成立,
采用 Welch ANOVA + Games-Howell 事后比较"
结果: 均值差 + 95% CI + Games-Howell p 值
相关阅读
- F 值的 APA 7th 报告写法 — F(df1,df2) 格式、效应量 eta 平方、报告模板全解
- 方差分析 ANOVA 完整报告模板 — APA 7th 单因素/双因素写法
- 效应量 APA 报告全解 — eta 平方、Cohen's d、r 完整写法
- t 值的 APA 7th 报告写法
本文首发于 ChatSRS 官方博客。如有问题或反馈,欢迎在 ChatSRS 站内 [用户中心 -> 帮助与反馈] 联系我们。