统计百科 ·

缺失值怎么处理才符合学术规范?多重插补与FIML完整指南

统计百科:详解缺失值三种机制(MCAR/MAR/MNAR),对比列表删除、均值替代、多重插补MI与FIML的学术规范性,提供可直接套用的APA 7th缺失值报告句式,帮助论文通过审稿人与期刊的方法论审查。

数据收集完发现有缺失值,多数人的第一反应是"删掉不完整的行"或"用均值填上"。这两种做法在十年前勉强过关,但在 APA 7th 时代已被审稿人标记为方法论瑕疵。本文从缺失机制(MCAR/MAR/MNAR)讲起,深入比较四种主流处理方案的学术合规性,并给出可直接复制进论文的 APA 报告句式。


你的缺失值处理被审稿人打回来了吗?

以下是审稿人关于缺失值处理最常见的退稿意见:

  • "作者使用列表删除法处理缺失值,但未检验缺失机制(MCAR/MAR),结论存在选择偏差风险"
  • "均值替代会低估标准差,建议改用多重插补或 FIML"
  • "方法章节未说明缺失数据的比例、分布及处理方式,无法评估结果可靠性"
  • "Little's MCAR 检验结果未报告,请补充"
  • "仅 5 次插补不符合当代实践,建议至少 20 次(Bodner, 2008;White et al., 2011)"
  • "FIML 假设数据为 MAR,但作者未讨论该假设是否成立"

这些问题集中在 APA Publication Manual 第七版及近年方法论文献对"缺失数据处理透明化"的要求。本文只讲一件事:缺失值如何处理、如何报告,才能通过方法论审查


一、理解缺失机制:MCAR / MAR / MNAR

正确处理缺失值的前提是判断缺失机制。Rubin(1976)将缺失数据机制分为三类,这是所有后续方法选择的基础。

1. MCAR — 完全随机缺失(Missing Completely At Random)

定义:数据缺失与任何变量(包括缺失变量本身和其他观测变量)均无关。

直觉理解:问卷在寄送过程中随机丢失了几页;测量仪器偶发性故障;被试随机漏填某题。

判断方法:Little's MCAR 检验(chi^2 检验,p > .05 支持 MCAR)。

对分析的影响:MCAR 是最理想的情况。此时,列表删除(Listwise Deletion)不会引入偏差,只损失统计功效。

现实概率:真正的 MCAR 在社会科学数据中极少出现,大多数研究者对 MCAR 的声称无法被验证。

2. MAR — 随机缺失(Missing At Random)

定义:数据缺失与其他已观测变量有关,但在控制已观测变量后,与缺失变量本身的值无关。

直觉理解:男性被试更容易跳过情绪类问题(缺失与性别有关,性别已被观测);低学历被试更容易漏填收入题(缺失与学历有关,学历已被观测)。

判断方法:无法通过统计检验直接证明(MAR 是不可证伪的假设),只能论证其合理性。常见做法是:对有/无缺失值的两组被试比较已观测变量,若差异显著则支持 MAR(而非 MCAR)。

对分析的影响:MAR 下,列表删除会产生有偏估计,多重插补(MI)和 FIML 在此假设下是无偏的,这是它们被推荐的核心原因。

3. MNAR — 非随机缺失(Missing Not At Random)

定义:数据缺失与缺失变量本身的值有关,即使控制所有已观测变量后依然如此。

直觉理解:高抑郁被试更容易不填写抑郁量表;高收入者更倾向于不报告收入;病情严重的患者更可能退出追踪研究。

判断方法:无法通过标准统计检验识别(需要未观测到的信息才能验证),是三种机制中最危险的。

对分析的影响:MNAR 下,MI 和 FIML 的估计仍然有偏。处理 MNAR 需要选择模型(如 Heckman 选择模型、Pattern Mixture Model),超出常规分析范畴,且需在论文中明确讨论局限性。

三种机制对比总结

机制缺失原因列表删除MI / FIML检验方法
MCAR与任何变量无关无偏(仅损失功效)可行Little's MCAR 检验
MAR与其他已观测变量有关有偏无偏无直接检验,论证合理性
MNAR与缺失变量自身有关有偏仍有偏无法直接检验

二、四种主流缺失值处理方法的学术规范性评级

方法一:列表删除(Listwise Deletion / Complete Case Analysis)

做法:删除任何变量存在缺失的行(完整案例分析)。

优点:操作简单,不引入额外假设,在 MCAR 时无偏。

学术规范性

  • MCAR 时:可接受(需报告 Little's MCAR 检验结果)
  • MAR/MNAR 时:不推荐,可能产生有偏估计,且大幅减少有效样本,损害功效
  • 当缺失率 > 5% 时,大多数审稿人会质疑列表删除的合理性

APA 7th 立场:未明确禁止,但要求说明缺失机制及其对结论的影响。

方法二:均值替代(Mean Substitution)

做法:用变量的均值填充缺失值。

优点:保留了全部样本量,计算简单。

问题

  • 人为降低方差(所有缺失值都变成了同一个数)
  • 低估标准差,导致标准误偏小、检验结果虚假显著
  • 弱化变量间相关性(插补值之间无变异)

学术规范性不推荐。APA 7th 及主流方法论文献均明确指出均值替代会引入系统性偏差。即使缺失率极低(< 1%),也建议用 MI 替代均值替代。

方法三:多重插补(Multiple Imputation, MI)

做法

  1. 基于已观测变量,用统计模型为缺失值生成 M 组合理的填补值(通常 M >= 20)
  2. 对 M 个完整数据集分别进行目标分析
  3. 用 Rubin(1987)组合规则合并 M 次分析结果,同时考虑插补的不确定性

优点

  • 在 MAR 假设下,参数估计无偏
  • 正确保留了缺失带来的不确定性(置信区间更宽,更诚实)
  • 被 APA 7th、APA 出版咨询委员会及大量方法论期刊明确推荐

关键参数

  • 插补次数 M:传统建议 5-10 次,现代实践建议 M >= 20(Bodner, 2008; White et al., 2011);经验法则:M 至少等于缺失数据的百分比
  • 插补模型:应包含目标分析中的所有变量(含因变量、协变量、交互项),以维持充分统计量

学术规范性强烈推荐。是目前社会科学领域处理 MAR 数据的黄金标准。

方法四:全信息最大似然法(Full Information Maximum Likelihood, FIML)

做法:不填补缺失值,而是在估计模型参数时直接利用每个观测单元的所有可用信息,最大化观测数据的似然函数。

优点

  • 在 MAR 假设下,参数估计与 MI 同样无偏,且渐近有效(充分利用信息)
  • 无需生成插补数据集,分析流程更简洁
  • 在 SEM(结构方程模型)、CFA(验证性因子分析)等基于似然的框架中原生支持

适用场景:基于最大似然估计的模型(SEM、多层模型 HLM、增长曲线模型等)原生支持 FIML;回归、ANOVA 等频率论框架需要额外步骤实现。

学术规范性强烈推荐(特别适合 SEM 类分析)。与 MI 效果相当,在模型支持的情况下更为优雅。

四种方法规范性对比

方法MAR 时无偏保留不确定性APA 推荐程度适用框架
列表删除否(MAR)/ 是(MCAR)有条件接受所有
均值替代不推荐所有
多重插补 MI强烈推荐所有
FIML强烈推荐基于似然的模型

三、缺失率多少需要处理?实操判断标准

< 5%:文献中普遍认为影响较小,但仍建议说明处理方式;完全可以用 MI。

5%-20%:必须认真对待,报告缺失机制,使用 MI 或 FIML,并做敏感性分析。

> 20%:需在方法章节详细讨论,缺失机制判断尤为重要;若 MNAR 不可排除,需讨论局限性;MI 仍可用(增大 M),但需额外检验。

> 40%:缺失严重,MI 的表现存在争议,需考虑辅助变量的充分性;建议咨询统计专家并在论文中明确声明局限性。


四、APA 7th 缺失值报告标准句式

以下句式可直接复制进论文方法章节,根据实际情况替换方括号内容。

场景一:报告缺失率 + 机制检验(MCAR)

数据收集完成后,对各变量的缺失情况进行检查。[变量A]的缺失率为 [X]%,
[变量B]的缺失率为 [X]%,总体缺失率为 [X]%。
Little's MCAR 检验结果[不显著,chi^2([df]) = [X.XX],p = [.XXX],支持完全随机缺失(MCAR)假设 /
显著,chi^2([df]) = [X.XX],p < .05,拒绝 MCAR 假设,支持随机缺失(MAR)假设]。

场景二:使用多重插补(MI)的方法章节

数据存在 [X]% 的缺失,Little's MCAR 检验显示缺失非完全随机
(chi^2([df]) = [X.XX], p [值]),故采用多重插补法(Multiple Imputation, MI)
处理缺失数据(Rubin, 1987)。
插补模型包含所有分析变量及辅助变量,生成 [M = 20/50] 个完整数据集,
各数据集独立分析后依 Rubin 组合规则合并结果(Schafer & Graham, 2002)。

场景三:使用 FIML 的方法章节(SEM 类分析)

结构方程模型估计采用全信息最大似然法(Full Information Maximum Likelihood, FIML)
处理缺失数据(Enders & Bandalos, 2001)。
FIML 在随机缺失(MAR)假设下提供无偏参数估计,
并充分利用所有观测信息而无需删除含缺失值的案例。
数据中 [变量A] 的缺失率为 [X]%,[变量B] 的缺失率为 [X]%。

场景四:讨论局限性(MNAR 不可排除时)

本研究采用多重插补处理缺失数据,该方法在随机缺失(MAR)假设下可提供无偏估计。
然而,[变量名]的缺失可能与其自身取值有关(如高[程度]者更倾向于不回答),
即存在非随机缺失(MNAR)的可能性。若缺失机制为 MNAR,
则当前估计可能存在一定偏差,这是本研究的潜在局限之一。
未来研究可通过[纵向追踪/补充调查]等方式进一步验证缺失机制假设。

场景五:敏感性分析报告

为评估缺失数据处理方式对结论的影响,本研究同时对完整案例子样本(n = [X])
进行了平行分析。两种分析(完整案例 vs. 多重插补全样本)在主要效应的方向、
显著性及效应量上高度一致(附录 B),表明缺失数据处理方式对主要结论无实质影响。

五、在 ChatSRS 一键获得规范缺失值处理报告

打开 chatsrs.com,上传数据后输入:

"检查各变量缺失情况,报告每个变量的缺失率;运行 Little's MCAR 检验;若缺失非 MCAR,使用多重插补(M=20次)处理缺失,插补模型包含所有分析变量;输出完整的 APA 7th 格式缺失数据报告段落,包括缺失率、机制检验结果、插补方法说明。"

如果你的分析是 SEM 或 CFA,可以改为:

"使用 FIML 处理缺失数据,在 APA 7th 格式下报告缺失率、FIML 适用假设及文献引用(Enders & Bandalos, 2001)。"

ChatSRS 将自动运行 R 的 mice 包(多重插补)或调用 lavaan/Mplus 的 FIML 功能,并输出可直接复制进论文的报告段落。


六、多重插补的实施细节:避免常见错误

错误一:插补次数不足

常见错误:M = 5(老教材默认值)。

当前建议:M 至少等于缺失数据的百分比(Bodner, 2008)。例如缺失率 20%,则 M >= 20;缺失率 5%,M = 5 勉强可接受,但 M = 20 更保险。

报告格式:生成 M = 20 个插补数据集(Bodner, 2008),而非"生成 5 个插补数据集"。

错误二:插补模型变量不完整

常见错误:插补模型仅包含有缺失的变量,遗漏了因变量和其他协变量。

正确做法:插补模型必须包含目标分析中的所有变量,包括因变量、所有预测变量、协变量、甚至交互项和非线性项。遗漏变量会使插补模型不充分,违反 MAR 假设的充分条件。

错误三:对已插补数据报告单次分析结果

常见错误:做完插补后,只报告其中某一个插补数据集的结果。

正确做法:对所有 M 个数据集分别分析,用 Rubin 组合规则合并(软件自动完成),报告的是合并后的估计值,置信区间反映插补不确定性。

错误四:插补类别变量时使用连续型方法

常见错误:对二分变量或有序变量使用线性回归插补,导致插补值不合理(如概率值超出 [0,1])。

正确做法:使用 predictive mean matching(PMM,适合连续变量)、logistic 回归插补(二分变量)或多项式 logistic 插补(名义变量),R 的 mice 包默认会根据变量类型自动选择。


七、FIML 与 MI 如何选择?

两者在 MAR 假设下均可提供无偏估计,选择标准如下:

情境推荐方法
SEM / CFA / 增长曲线模型FIML(软件原生支持,更简洁)
回归 / ANOVA / t 检验MI(更通用,SPSS/R/Stata 均支持)
分析软件不支持 FIMLMI
需要报告插补不确定性MI(组合结果直接反映不确定性)
缺失率较高(> 20%)MI(灵活性更高)
简洁性优先 + 基于似然模型FIML

实际建议:做 SEM 类分析时优先用 FIML,其他情况用 MI。两者结论高度一致时,在论文中说明已用两种方法做了敏感性分析可增强可信度。


常见 FAQ

Q:缺失率很低(< 1%),还有必要用多重插补吗?

A:学术规范上不强制,但建议在方法章节至少说明"各变量缺失率均低于 1%,视为可忽略,采用列表删除(n_final = X),Little's MCAR 检验未显著(chi^2 = X.XX, p = .XXX)"。这样审稿人就不会追问。若你希望保留全部样本量,用 MI 也完全没问题,且能展示方法严谨性。

Q:已经用了列表删除,审稿人要求改用 MI,怎么办?

A:这是常见的小修要求。步骤:(1) 补跑 Little's MCAR 检验;(2) 使用 R 的 mice 包或 Stata 的 mi impute 重新做 MI;(3) 对比 MI 结果与列表删除结果,若结论一致(通常如此),在修改稿中说明"采用多重插补重新分析,主要结论与完整案例分析高度一致(附录 X)";(4) 更新方法章节的缺失值处理说明。整个过程在 ChatSRS 中可一次完成。

Q:Little's MCAR 检验显著了(p < .05),是不是说明数据有问题?

A:不是"有问题",只是说明缺失机制不是 MCAR,而更可能是 MAR(或 MNAR)。这在社会科学数据中极为常见,不需要紧张。正确的应对是:(1) 在论文中说明 MCAR 被拒绝,支持 MAR 假设;(2) 论证 MAR 的合理性(哪些已观测变量可能与缺失相关);(3) 使用 MI 或 FIML 处理缺失值,而非列表删除。

Q:方法章节要引用哪些文献来支撑多重插补的使用?

A:以下是标准引用组合:

  • Rubin, D. B. (1987). Multiple imputation for nonresponse in surveys. Wiley. — MI 方法的奠基文献
  • Schafer, J. L., & Graham, J. W. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7(2), 147–177. — 综述性文献,心理学领域广泛引用
  • van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of Statistical Software, 45(3), 1–67. — 如果使用 R mice 包
  • Bodner, T. E. (2008). What improves with increased missing data imputations? Structural Equation Modeling, 15(4), 651–675. — 插补次数 M 的依据
  • Enders, C. K., & Bandalos, D. L. (2001). The relative performance of full information maximum likelihood estimation for missing data in structural equation models. Structural Equation Modeling, 8(3), 430–457. — FIML 的核心引用

快速参考:缺失值报告格式速查卡

[缺失率报告]
[变量名]缺失率 = X%(n = [缺失数]/[总数]);总体缺失率 = X%

[MCAR 检验]
Little's MCAR: chi^2([df]) = X.XX, p = .XXX
结果:p > .05 → 支持 MCAR;p < .05 → 拒绝 MCAR,支持 MAR

[多重插补报告]
"采用多重插补法(MI; Rubin, 1987)处理缺失数据;
生成 M = 20 个插补数据集(Bodner, 2008),
依 Rubin 组合规则合并分析结果(Schafer & Graham, 2002)。"

[FIML 报告]
"采用全信息最大似然法(FIML; Enders & Bandalos, 2001)处理缺失数据;
该方法在 MAR 假设下提供无偏参数估计。"

[列表删除(仅 MCAR 时)]
"Little's MCAR 检验不显著(p = .XXX),采用列表删除法,
有效样本量 n = [X](原始 N = [X],缺失 [X]%)。"

相关阅读


本文首发于 ChatSRS 官方博客。如有问题或反馈,欢迎在 ChatSRS 站内 [用户中心 -> 帮助与反馈] 联系我们。