统计学学习教程，从入门到精通，方差分析(15）

方差分析

一、方差分析引论

1.1 方差分析的基本概念

方差分析（Analysis of Variance，简称 ANOVA）是由英国统计学家 R.A. Fisher 于20世纪20年代提出的一种统计分析方法。其核心思想是：将数据的总变异分解为不同来源的变异，通过比较各来源的变异大小来判断因素对试验指标是否有显著影响。

1.2 为什么需要方差分析

问题的提出： 假设有 $k$ 个总体（或 $k$ 种处理），我们想要检验它们的均值是否相等。

$$H_0:{\mu }_1={\mu }_2=\cdots ={\mu }_k$$

为什么不能用两两 $t$ 检验替代？

若对 $k$ 个总体进行两两 $t$ 检验，共需进行 $\left(\genfrac{}{}{0ex}{}{k}{2}\right)=\frac{k(k-1)}{2}$ 次比较。例如 $k=5$ 时需要 10 次比较。

每次检验的显著性水平为 $\alpha$，则至少犯一次第一类错误的概率为：

$$P(\text{至少犯一次第I类错误})=1-(1-\alpha {)}^{\left(\genfrac{}{}{0ex}{}{k}{2}\right)}$$

当 $\alpha =0.05$，$k=5$ 时：

$$1-(1-0.05{)}^{10}=1-0.95^{10}\approx 1-0.5987=0.4013$$

即犯第一类错误的概率高达约 40%，远超预设水平。因此需要方差分析这一整体检验方法。

1.3 方差分析中的基本术语

1.4 方差分析的基本假定

对每一个总体（水平），要求：

二、单因素方差分析

2.1 问题与模型

设因素 $A$ 有 $k$ 个水平 $A_1,A_2,\dots ,A_k$，在水平 $A_i$ 下进行 $n_i$ 次独立试验，得到观测值 $X_{ij}$（$j=1,2,\dots ,n_i$）。

线性统计模型：

$$X_{ij}={\mu }_i+{\epsilon }_{ij},i=1,2,\dots ,k;j=1,2,\dots ,n_i$$

其中 ${\epsilon }_{ij}\sim N(0,{\sigma }^2)$ 且相互独立。

引入效应参数：

令总均值 $\mu =\frac{1}{n}{\sum }_{i=1}^k{n}_i{\mu }_i$（其中 $n={\sum }_{i=1}^k{n}_i$ 为总观测次数），定义水平 $A_i$ 的效应为：

$${\alpha }_i={\mu }_i-\mu ,i=1,2,\dots ,k$$

则模型改写为：

$$\boxed{X_{ij}=\mu +{\alpha }_i+{\epsilon }_{ij},\sum _{i=1}^k{n}_i{\alpha }_i=0}$$

待检验的假设为：

$$H_0:{\mu }_1={\mu }_2=\cdots ={\mu }_k\iff H_0:{\alpha }_1={\alpha }_2=\cdots ={\alpha }_k=0$$

$$H_1:{\mu }_1,{\mu }_2,\dots ,{\mu }_k\text{ 不全相等}$$

2.2 平方和分解（核心推导）

2.2.1 定义基本统计量

• 第 $i$ 组样本均值：${\bar{X}}_{i\cdot }=\frac{1}{n_i}{\sum }_{j=1}^{n_i}{X}_{ij}$
• 总样本均值：${\bar{X}}_{\cdot \cdot }=\frac{1}{n}{\sum }_{i=1}^k{\sum }_{j=1}^{n_i}{X}_{ij}$

重要恒等式验证：

$$\sum _{i=1}^k{n}_i{\bar{X}}_{i\cdot }=\sum _{i=1}^k{n}_i\cdot \frac{1}{n_i}\sum _{j=1}^{n_i}{X}_{ij}=\sum _{i=1}^k\sum _{j=1}^{n_i}{X}_{ij}=n{\bar{X}}_{\cdot \cdot }$$

2.2.2 总离差平方和的分解

定义总离差平方和：

$$S_T=\sum _{i=1}^k\sum _{j=1}^{n_i}(X_{ij}-{\bar{X}}_{\cdot \cdot }{)}^2$$

分解过程： 对 $X_{ij}-{\bar{X}}_{\cdot \cdot }$ 进行"加一项减一项"：

$$X_{ij}-{\bar{X}}_{\cdot \cdot }=(X_{ij}-{\bar{X}}_{i\cdot })+({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot })$$

两边平方后求和：

$$S_T=\sum _{i=1}^k\sum _{j=1}^{n_i}{\left[(X_{ij}-{\bar{X}}_{i\cdot })+({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot })\right]}^2$$

展开平方项：

$$S_T=\underset{S_E}{\sum _{i=1}^k\sum _{j=1}^{n_i}(X_{ij}-{\bar{X}}_{i\cdot }{)}^2}+\underset{S_A}{\sum _{i=1}^k\sum _{j=1}^{n_i}({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot }{)}^2}+2\sum _{i=1}^k\sum _{j=1}^{n_i}(X_{ij}-{\bar{X}}_{i\cdot })({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot })$$

证明交叉项为零：

$$\sum _{i=1}^k\sum _{j=1}^{n_i}(X_{ij}-{\bar{X}}_{i\cdot })({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot })=\sum _{i=1}^k({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot })\sum _{j=1}^{n_i}(X_{ij}-{\bar{X}}_{i\cdot })$$

由于 ${\sum }_{j=1}^{n_i}(X_{ij}-{\bar{X}}_{i\cdot })={\sum }_{j=1}^{n_i}{X}_{ij}-n_i{\bar{X}}_{i\cdot }=n_i{\bar{X}}_{i\cdot }-n_i{\bar{X}}_{i\cdot }=0$

因此交叉项为零，得到：

$$\boxed{S_T=S_E+S_A}$$

其中：

$$S_A=\sum _{i=1}^k\sum _{j=1}^{n_i}({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot }{)}^2=\sum _{i=1}^k{n}_i({\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot \cdot }{)}^2$$

$$S_E=\sum _{i=1}^k\sum _{j=1}^{n_i}(X_{ij}-{\bar{X}}_{i\cdot }{)}^2$$

各项含义：

2.2.3 自由度的分解

$$S_T\text{ 的自由度：}{f}_T=n-1$$

$$S_A\text{ 的自由度：}{f}_A=k-1$$

$$S_E\text{ 的自由度：}{f}_E=n-k$$

验证： $f_A+f_E=(k-1)+(n-k)=n-1=f_T$ ✓

2.3 各平方和期望值的推导

2.3.1 $E(S_E)$ 的推导

$$S_E=\sum _{i=1}^k\sum _{j=1}^{<span\; class}$$