统计百科 · 2026-06-24

方差-协方差矩阵在多元统计里是什么角色？— SEM/PCA/MANOVA 底层逻辑全解

统计百科：深入解析方差-协方差矩阵（Sigma）与相关矩阵的构成与区别，剖析其在 SEM、PCA、MANOVA、判别分析中的核心地位，配合可直接套用的 APA 7th 报告句式与 ChatSRS 真实指令示例。

你在跑 SEM 时看到"模型隐含协方差矩阵与样本协方差矩阵差异过大"；在解读 PCA 时被告知"基于协方差矩阵还是相关矩阵结果不同"；在做 MANOVA 时遇到 Box's M 检验……这些报错和选项背后，都是同一个对象：方差-协方差矩阵（Variance-Covariance Matrix）。本文把这个贯穿多元统计的核心结构讲清楚，配 APA 报告模板，直到你能在论文里用对它。

一、方差-协方差矩阵是什么

1.1 从两个变量说起：协方差的含义

协方差（covariance）回答的问题是：两个变量一起变动的趋势有多强、方向如何？

$\text{Cov}(X, Y) = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})$

$\text{Cov} > 0$：X 大时 Y 也倾向于大（同向变动）
$\text{Cov} < 0$：X 大时 Y 倾向于小（反向变动）
$\text{Cov} = 0$：两变量线性无关（不代表独立）

协方差的数值大小受变量量纲影响——时间（秒）和体重（克）相乘，数值会大得没有意义。这就是为什么还需要"标准化版本"：相关系数和相关矩阵。

1.2 从 p 个变量构成矩阵

当研究中有 $p$ 个变量 $X_1, X_2, \ldots, X_p$ 时，任意两个变量之间都有一个协方差，所有这些协方差排列成一个 $p \times p$ 的对称矩阵，即方差-协方差矩阵（也常记作 $\Sigma$，读作"sigma"）：

$\Sigma = \begin{pmatrix} \sigma_1^2 & \sigma_{12} & \cdots & \sigma_{1p} \ \sigma_{21} & \sigma_2^2 & \cdots & \sigma_{2p} \ \vdots & \vdots & \ddots & \vdots \ \sigma_{p1} & \sigma_{p2} & \cdots & \sigma_p^2 \end{pmatrix}$

关键结构特征：

位置	含义
对角线元素 $\sigma_i^2$	第 i 个变量的方差（自身变动幅度）
非对角线元素 $\sigma_{ij}$	变量 i 与变量 j 的协方差（共变程度）
对称性 $\sigma_{ij} = \sigma_{ji}$	矩阵关于主对角线完全对称
半正定性	所有特征值 >= 0，保证概率意义下合理

1.3 样本协方差矩阵 S 与总体 Sigma

实际研究中，我们用样本协方差矩阵 S 估计总体 $\Sigma$：

$S_{ij} = \frac{1}{n-1}\sum_{k=1}^{n}(X_{ki} - \bar{X}i)(X{kj} - \bar{X}_j)$

分母用 $n-1$ 而非 $n$，是为了得到总体协方差的无偏估计。在多元统计推断（SEM 拟合、MANOVA 检验、Mahalanobis 距离）中，绝大多数方法操作的都是这个样本矩阵。

二、协方差矩阵与相关矩阵的区别

相关矩阵（Correlation Matrix）$R$ 是协方差矩阵的标准化版本：

$R_{ij} = \frac{\sigma_{ij}}{\sigma_i \cdot \sigma_j} = \frac{\text{Cov}(X_i, X_j)}{\text{SD}(X_i) \cdot \text{SD}(X_j)}$

特征	协方差矩阵 S	相关矩阵 R
对角线元素	各变量方差（不统一）	全为 1.00
非对角线取值范围	$(-\infty, +\infty)$，受量纲影响	$[-1, 1]$，无量纲
适用场景	变量单位相同或需要保留量纲信息	变量单位不同、需要跨变量比较
PCA 选择	方差大的变量主导第一主成分	每个变量贡献均等化
SEM 适用性	国际通用，估计出来的参数对应原始量纲	特殊场景（如所有变量标准化后）

两者的转换关系：令 $D$ 为各变量标准差的对角矩阵，则：

$R = D^{-1} S D^{-1}$

反过来也可以从相关矩阵和各变量标准差还原协方差矩阵：$S = D R D$。

实践建议：

量表分（如李克特 1-5 分）+ 人口变量（年龄单位岁）混用 → 用相关矩阵做 PCA，避免年龄方差"压制"量表项
同一量表的多个维度（单位相同）→ 用协方差矩阵做 CFA/SEM，保留各维度真实离散程度

三、协方差矩阵在多元统计方法中的核心角色

3.1 结构方程模型（SEM）：S 与 Sigma(theta) 之差

SEM 的本质是在协方差矩阵上做推断，而不是在原始数据上。

SEM 的目标函数（以最大似然 ML 估计为例）：

$F_{ML} = \log|\Sigma(\theta)| + \text{tr}[S \cdot \Sigma(\theta)^{-1}] - \log|S| - p$

其中 $\Sigma(\theta)$ 是模型隐含协方差矩阵（model-implied covariance matrix）——由路径系数、因子载荷、方差/协方差自由参数组成的理论预测矩阵；$S$ 是样本协方差矩阵。

$F_{ML}$ 越小，说明模型对数据的协方差结构再现越好。

CFI、RMSEA、SRMR 等拟合指标的计算，全部基于 $S$ 和 $\Sigma(\hat\theta)$ 之差：

SRMR（标准化残差均方根）：$S$ 和 $\Sigma(\hat\theta)$ 对应元素之差的标准化平均，< .08 为可接受
RMSEA：基于模型卡方（与协方差矩阵拟合相关）和样本量的修正指标

如果 SEM 报错"协方差矩阵不正定（non-positive definite）"，通常是因为样本 S 中存在多重共线性（某些变量的线性组合方差为零），需要删减高相关项或增大样本量。

3.2 主成分分析（PCA）：特征分解

PCA 的操作对象正是协方差矩阵（或相关矩阵）。

对 $S$（或 $R$）做特征分解：

$S = V \Lambda V^T$

其中 $\Lambda$ 是特征值对角矩阵，$V$ 是对应特征向量矩阵。每个特征值 = 对应主成分解释的方差量；特征向量 = 原始变量在该主成分上的权重（载荷）。

第一主成分 = 沿使数据方差最大方向的轴 → 对应最大特征值
Kaiser 准则：保留特征值 > 1.0 的主成分（使用相关矩阵时）
Scree plot：以特征值大小为纵轴的"碎石图"，选拐点之上的主成分数

3.3 MANOVA：多元方差分析的假设与检验

MANOVA 检验多个因变量的联合组间差异，其检验统计量（Wilks' Lambda、Pillai's Trace 等）都基于以下两个矩阵：

组内（误差）协方差矩阵 W：汇集各组内部的离散程度
组间（假设）协方差矩阵 H：反映组间均值向量的差异

$\Lambda_{Wilks} = \frac{|W|}{|W + H|}$

Box's M 检验则专门测试各组的协方差矩阵是否相等（MANOVA 的核心前提假设），相当于多变量版本的 Levene 检验。

3.4 其他场景一览

方法	协方差矩阵的角色
CFA（验证性因子分析）	因子模型对数据协方差矩阵的再现度 = 模型拟合度
判别分析（DA）	用汇合组内协方差矩阵估计马氏距离
多元回归（MLR）	残差协方差矩阵反映因变量间残余相关
多层线性模型（HLM）	随机效应的协方差矩阵描述个体差异结构
探索性因子分析（EFA）	相关矩阵（或协方差矩阵）分解出因子载荷矩阵

四、如何解读协方差矩阵的输出

4.1 判断矩阵是否"健康"

拿到软件输出的协方差矩阵，先做三项快速检查：

对角线值是否合理：各变量方差应为正数；若某变量方差接近 0，说明几乎无变异，无法纳入分析
是否正定（positive definite）：所有特征值均 > 0。若出现负特征值，说明矩阵不正定，后续计算（矩阵求逆、SEM 估计）会失败
高协方差/高相关的变量对：非对角线绝对值接近对角线值时（相关 > .90），存在多重共线性风险，需要合并或删减

4.2 相关矩阵的论文报告惯例

相关矩阵（通常只报下三角，因对称）是最常见的描述统计表格之一。

APA 7th 格式表注写法：

注. 矩阵下三角为 Pearson 相关系数；对角线加粗值为 Cronbach's alpha 信度系数（n = 238）。*p < .05. **p < .01.

方法章节对应描述句式（可直接套用）：

各研究变量的描述性统计与相关矩阵见表 X。[变量A]与[变量B]呈显著正相关，r = .43，p < .001；[变量A]与[变量C]相关未达显著，r = .08，p = .213。所有自变量间相关系数绝对值均低于 .70，方差膨胀因子（VIF）均小于 5，不存在多重共线性问题（Tabachnick & Fidell，2019）。

4.3 SEM 拟合报告中的协方差矩阵痕迹

SEM 的结果部分虽然不直接报告 $S$ 或 $\Sigma(\hat\theta)$，但拟合指标本质上在报告两者的差距：

结构方程模型拟合结果良好：$\chi^2$(df) = [值]，CFI = .95，TLI = .94，RMSEA = .052（90% CI [.038, .066]），SRMR = .051。模型隐含协方差矩阵与样本协方差矩阵的标准化差异（SRMR）低于 .08 的可接受阈值（Hu & Bentler，1999），表明模型对变量间协方差结构的再现具有良好拟合度。

五、在 ChatSRS 获取协方差矩阵分析

打开 chatsrs.com，上传数据后输入：

"输出 X1 至 X8 八个变量的方差-协方差矩阵和相关矩阵（含描述统计 M 和 SD）；检验相关矩阵是否适合做因子分析（KMO 检验和 Bartlett 球形检验）；输出 APA 7th 格式的相关矩阵表格，下三角显示相关系数，对角线显示标准差，并标注显著性星号（*p < .05，**p < .01，***p < .001）。"

如需 SEM 拟合报告，可输入：

"对这份数据跑二阶 CFA 模型，报告样本协方差矩阵的描述（行列式、条件数）、模型隐含协方差矩阵与样本协方差矩阵的 SRMR 差异、以及 APA 7th 格式的完整拟合指标表（chi^2、df、CFI、TLI、RMSEA 含 90% CI、SRMR）。"

ChatSRS 支持导出 R（lavaan）、Stata sem 可运行语法及 SPSS Amos 路径图参数，输出结果可直接复制进论文的方法章节与结果章节。

六、APA 7th 报告句式速查

以下句式可根据实际数值填入后直接用于论文。

描述相关矩阵：

各变量描述性统计及 Pearson 相关矩阵见表 [X]。多重共线性诊断显示，所有预测变量间相关系数均低于 .85（最大值 r = .XX），方差膨胀因子（VIF）范围为 [最小值, 最大值]，满足多元回归的多重共线性假设（Field，2024）。

报告 KMO 和 Bartlett 检验（EFA/PCA 前提）：

KMO 取样适切性量数为 .87，Bartlett 球形检验显著，$\chi^2$([df]) = [值]，p < .001，表明相关矩阵适合进行因子分析（Kaiser，1974）。

报告 Box's M 检验（MANOVA 前提）：

Box's M 检验结果显示，各组协方差矩阵具有同质性，M = [值]，F([df1], [df2]) = [值]，p = [值]（> .001），满足 MANOVA 的协方差矩阵同质性假设（Tabachnick & Fidell，2019）。

报告 SEM 拟合中的残差协方差矩阵：

检验模型对样本协方差矩阵的再现程度，SRMR = .054（< .08），表明模型隐含协方差矩阵与样本协方差矩阵的标准化差异在可接受范围内（Hu & Bentler，1999）。

常见 FAQ

Q：协方差矩阵和相关矩阵做 PCA 结果会不一样吗？

A：是的，通常明显不同。协方差矩阵 PCA 中，方差（标准差）大的变量对主成分的贡献更大；相关矩阵 PCA 相当于先将所有变量标准化为 Z 分（均值 0、标准差 1）再分解，每个变量贡献均等。建议原则：同类量表题（同单位、同量纲）→ 协方差矩阵；不同量纲的混合变量（如岁数、分数、次数）→ 相关矩阵。大多数心理/教育研究的量表分析用相关矩阵 PCA 更合理。

Q：SEM 报错"协方差矩阵不正定"怎么办？

A：不正定（non-positive definite）意味着矩阵至少有一个特征值 <= 0，根本原因通常是：(1) 存在完全或近似线性依赖（两个变量几乎是对方的线性函数，相关 > .95）；(2) 样本量过小（变量数 p 接近或超过 n）；(3) 数据录入错误导致某变量无变异。排查路径：先看相关矩阵里是否有 |r| > .90 的变量对 → 删除其中之一；再检查各变量方差是否全部 > 0。

Q：方差-协方差矩阵和协方差矩阵是同一个东西吗？

A：是的，两个名称指同一对象——$p \times p$ 的对称矩阵，对角线是各变量方差，非对角线是变量间协方差。"方差-协方差矩阵"这个名称强调对角线包含方差，而非只有协方差，避免与"纯协方差（off-diagonal only）"概念混淆。在统计文献中常用 $\Sigma$（总体）或 $S$（样本）表示，有时也称"散布矩阵（scatter matrix）"（未除以 n-1 时）。

Q：论文里什么情况需要直接报告协方差矩阵？

A：大多数情况下论文不直接报告协方差矩阵，而是报告相关矩阵（更易读）或拟合指标（SEM）。但以下情形可能需要提供协方差矩阵：(1) 期刊或导师明确要求附原始协方差矩阵（便于读者重新分析）；(2) SEM 研究建议在在线附录提供，方便元分析研究者复用；(3) 测量不变性检验需要报告各组协方差矩阵的行列式以讨论矩阵同质性。日常论文报告相关矩阵加描述统计即可满足 APA 要求。